DATE, INFORMATII, CUNOSTINTE, ENTROPIE INFORMATIONALA

DATE, INFORMATII, CUNOSTINTE, ENTROPIE INFORMATIONALA

1.1.1. Date, informatii, cunostinte

Istoria civilizatiei umane este insasi istoria informatiei. Progresele inregistrate de omenire au depins organic de cantitatea de informatie disponibila si de rapiditatea vehicularii si utilizarii informatiilor. Cantitatea de informatie este in continua crestere si aceasta este caracteristica evolutiei civilizatiei umane care se afla in faza societatii informationale.

Societatea, civilizatia umana, nu poate exista fara informatie si comunicarea ei. Relatia societate - informatie este indisolubila. Schimbul de informatii reprezinta o categorie esentiala in existenta societatii, o realitate care defineste primordial societatea in relatie cu toate componentele dezvoltarii acesteia. Ceea ce difera de la o etapa la alta este continutul si intensitatea transferului de informatii, modalitatile si formele de intermediere pe traseul, uneori direct, alteori sinuos si lung, dintre emitator si receptor. Pe masura ce informatiile s-au diversificat si mesajele au devenit mai complicate, mai amplu determinate si, totodata, mai numeroase, in procesul de transfer s-au produs specializari, au intervenit forme noi de organizare si memorizare, s-au implementat tehnicile de varf ale epocii.

Solutia secolului XX este calculatorul electronic. Calculatorul electronic se impune 'ca o prelungire a creierului uman', iar informatica, vazuta ca stiinta a prelucrarii informatiei, devine omniprezenta.

Astazi omenirea se gaseste in faza societatii informationale ca efect al celei de-a doua revolutii industriale, in care informatia si calculatoarele electronice joaca un rol esential. Daca prima revolutie industriala a insemnat transferul indemanarii omului catre masina, cea de-a doua revolutie industriala implica transferul inteligentei umane catre masina (calculator).

'Calculatoarele electronice nu sunt supraomenesti. Ele se strica. Fac greseli -periculoase uneori. Nu au nimic magic si cu siguranta nu sunt spirite sau suflete din mediul inconjurator. Cu aceste rezerve ele raman insa una din cele mai uimitoare si tulburatoare realizari ale omului, pentru ca ne amplifica capacitatea intelectuala, si nu stim unde ne vor duce pana la urma propriile noastre minti.

Un calculator electronic reprezinta o unealta puternica a zilelor noastre, care are capacitatea de a rezolva cele mai diverse probleme, de la punerea la dispozitie a unor jocuri foarte atractive pana la utilizarea in cercetare, armata, servicii, matematica s.a.m.d. Principalele avantaje ale unui calculator electronic le constituie viteza de lucru a acestuia, dar si posibilitatea de a se adapta rapid oricarui domeniu de utilizare prin executarea unui program corespunzator, eliminand astfel munca repetitiva.

Calculatoarele pun la dispozitia utilizatorilor nu numai o viteza extraordinara de lucru ci si o capacitate mare de memorie care foloseste pentru memorarea diverselor programe si ofera astfel posibilitatea accesarii rapide a acestora.

De la primele tipuri de calculatoare si pana la cele de azi, toate calculatoarele se bazeaza in functionare pe indeplinirea catorva sarcini principale :

- prelucrarea (sau procesarea) informatiilor;

- stocarea (memorarea) informatiilor;

- transferul si comunicarea informatiilor.

Calculatorul poate opera numai cu informatiile care ii sunt oferite de catre utilizator, deci care sunt introduse in sistemul calculatorului, iar in urma executiei diverselor sarcini enumerate mai sus, in final utilizatorul obtine diverse rezultate, sub forma de noi informatii, prin texte si imagini afisate pe ecran sau tiparite pe hartie, sunete auzite in difuzoare sau inregistrate pe suport magnetic etc.

Prelucrarea (procesarea) informatiilor implica foarte multe calcule matematice executate de catre calculator dar si alte operatii.

Informatiile cu care opereaza permanent un calculator pot fi impartite in 3 categorii: date, programe, parametri de configurare.

Datele - sunt acele informatii care sunt procesate. De pilda, un calculator poate sa afiseze in ce zi a saptamanii cade o anumita data calendaristica (reprezentata prin zi, luna si an). Pentru asta, el trebuie sa primeasca data calendaristica, si dupa ce o proceseaza, va afisa ziua saptamanii care corespunde acelei date. Data calendaristica introdusa si ziua saptamanii afisata sunt date cu care a operat calculatorul in acest proces. Tot din categoria datelor sunt si documentele care contin texte, imagini, chiar si sunete, cu care opereaza calculatorul si a caror manevrare si prelucrare reprezinta cel mai adesea scopul utilizarii calculatorului intr-o activitate de birou.

Programele - reprezinta o categorie speciala de informatii, care contin algoritmii conform carora calculatorul va procesa datele. Calculatorul este un simplu automat electronic, dar in functie de programele pe care le foloseste, el va putea procesa datele primite in diverse moduri. De pilda, pentru exemplul anterior este necesar un program capabil sa calculeze exact in ce zi a saptamanii cade o data calendaristica oarecare, tinand cont de toate detaliile calendarului (ani bisecti, zilele fiecarei luni etc.), conform unui algoritm matematic bine stabilit.

Programele sunt alcatuite din instructiuni care sunt executate una cate una, pana cand, pornind de la datele introduse, se ajunge la rezultatul final. Pentru calculator, aceste instructiuni sunt codificate in asa-numitul cod-masina, un limbaj de programare foarte rar folosit chiar de catre specialisti. Viteza cu care sunt executate instructiunile a ajuns astazi atat de mare, incat atunci cand apasam o tasta apare instantaneu pe ecran o litera, nici nu ne dam seama ca aceasta operatie atat de simpla inseamna, pentru calculator, executia a sute sau mii de instructiuni in cod-masina intre momentul apasarii tastei si cel al afisarii literei.

Parametri de configurare - este vorba de acele informatii care determina modul specific de functionare pentru fiecare componenta fizica a calculatorului, sau pentru programele folosite de el. Prin acesti parametri, care raman memorati de calculator pana la modificarea sau stergerea lor, un calculator poate fi programat, de pilda, sa accepte sau sa ignore un anumit dispozitiv fizic (un hard-disk, un mouse etc.).

Stocarea (memorarea) informatiilor

Calculatorul poate stoca (memora) informatii in mai multe forme diferite, astfel incat el va putea procesa nu numai informatii introduse in momentul procesarii, ci si informatii stocate in memoria lui. In acest fel, un calculator este adesea folosit si pentru a gazdui baze de date sau arhive de informatii si documente diverse, in format digital sau - ca sa folosim un termen popular - electronic. Memoria calculatorului se imparte in doua tipuri de baza: memorie temporara (pe termen scurt, sau dinamica) si memorie permanenta (pe termen lung, fixa).

Memoria temporara este memoria care se sterge la oprirea calculatorului, si este folosita numai in timpul functionarii lui, ca o zona de memorie de lucru pentru programele aflate in functiune. Folosind memoria RAM, calculatorul executa mai rapid programele si proceseaza mai eficient informatiile.

Functia de memorare a informatiilor face calculatorul foarte util in orice activitate, el putand inlocui astfel dulapuri de dosare si biblioteci intregi.

Transferul si comunicarea informatiilor

Pentru a putea stoca si procesa informatii, calculatorul trebuie sa le si transfere de la un dispozitiv la altul, si adesea in functiile sale de baza intra si comunicarea informatiilor catre/dinspre alte calculatoare. Exista mai multe forme de transfer si comunicare de informatii in activitatea calculatorului:

I/O (Input/Output) este denumirea generica data dispozitivelor de intrare/iesire, adica acelor dispozitive care asigura introducerea (intrarea) informatiilor in calculator, si afisarea (iesirea) de informatii prin diverse metode. De pilda, tastatura, mouse-ul sau scanner-ul sunt dispozitive tipice de intrare, prin care operatorul poate introduce texte sau poate da comenzi calculatorului, in vreme ce monitorul, imprimanta si boxele audio sunt dispozitive tipice de iesire, prin care informatiile din calculator ajung sa fie vazute sau auzite de operator.

Transfer in/din memoria RAM - orice program, la lansarea sa, este transferat partial in memoria RAM, de unde va fi executat pas cu pas. Tot in memoria RAM sunt plasate informatiile in curs de prelucrare, si are loc un transfer continuu de informatii intre memoria RAM si celelalte dispozitive din calculator. Cu cat un calculator are mai multa memorie RAM, cu atat programele rulate au un spatiu mai mare de manevra si vor functiona mai rapid.

Transfer intre discuri - citirea informatiilor de pe un spatiu de stocare (disc) oarecare poate fi vazuta tot ca o operatie de intrare in procesul de prelucrare a informatiilor, iar scrierea informatiilor pe disc poate fi vazuta si ca o operatie de iesire in acelasi proces. Dat fiind ca se pot citi informatii de pe un disc si se pot scrie pe un alt disc, acesta este un transfer de informatii de pe un mediu de stocare pe altul. De pilda, se pot copia informatii de pe hard-disk pe discheta, apoi discheta poate fi transportata pe un alt calculator, unde informatiile respective pot fi copiate de pe discheta pe hard-disk-ul acelui calculator. Operatiile de transfer pe disc au loc aproape permanent in calculator.

Comunicatia in retea - pentru un calculator conectat la o retea, fie prin dispozitive de retea, fie prin modem, au loc si transferuri de informatii catre/dinspre alte calculatoare. In acest fel circulatia informatiilor este accelerata foarte mult, si utilitatea calculatorului a crescut enorm in ultimul deceniu prin extinderea retelelor si prin posibilitatea conectarii la reteaua globala numita Internet.

Informatia, ca notiune, este foarte veche. Este utilizata cu diferite semnificatii: suport al cunostintelor umane, unitate de masura in informatica, stire, noutate etc. Sensurile notiunii de informatie sunt mult discutate si interpretate de catre o disciplina sau alta.

Notiunea de informatie este complexa, de mare generalitate, care se ridica la nivelul notiunii de materie. Toate stiintele opereaza cu informatii ca elemente ale cunoasterii senzoriale sau rationale. Cunoasterea umana, transmiterea cunostintelor vehiculeaza informatii.

Sensul cvasiunanim acceptat pentru notiunea de informatie este urmatorul: "informatia defineste fiecare din elementele noi continute in semnificatia unui simbol sau grup de simboluri intr-o comunicare, stire, semnal, grup de imagini etc. prin care se desemneaza concomitent o situatie, o stare, o actiune etc."

Pentru a fi perceputa informatia trebuie exprimata intr-o forma concreta. Prin data intelegem un numar, o marime, o relatie etc. care serveste la rezolvarea unei probleme sau care este obtinuta in urma unei cercetari urmand a fi supusa unor prelucrari. Data poate fi considerata materia prima pentru informatie. Ea este o informatie potentiala, intrucat prin prelucrare conduce la obtinerea informatiilor, in informatica prin data intelegem 'un model de prezentare a informatiei accesibil unui anumit procesor (om, unitate centrala, program etc), model cu care se poate opera pentru a obtine noi informatii despre fenomenele, procesele si obiectele lumii reale'.

In literatura de specialitate, de cele mai multe ori, se considera ca sistemele de calcul opereaza cu date, care constituie forma fizica, efectiva, a informatiei si numai prin asociere cu realitatea, putem spune ca sistemele de calcul prelucreaza informatii. In astfel de conditii datele furnizate la iesire pot reprezenta o anumita informatie pentru un utilizator si o alta pentru alt utilizator.

Uneori, in practica, termenul de informatie este utilizat si pentru a desemna datele sau invers. Acest lucru este, sa zicem, fara importanta pentru nespecialisti, pentru practica obisnuita, dar are o importanta capitala, de exemplu, pentru gestiunea organizatiilor. Situatia prezentata mai jos este edificatoare.

Schematic relatia dintre date si informatii se poate reprezenta astfel:

Fig. nr. 1.1. Relatia date - informatii

dj^ d_n date

ij^ i_m informatii

Betlehem Steel, firma din SUA cu o cifra de afaceri de aproximativ 4,3 miliarde dolari a angajat o echipa de 14 experti de la IBM in vederea analizei sistemului informational. Concluzia furnizata de echipa de analisti a fost ca persoanele implicate in conducerea firmei, pe diferite niveluri, nu faceau distinctia date-informatie si deci se vehiculau prea multe date si prea putine informatii.

Problemele de mai sus deriva din generalitatea notiunii de informatie. Pentru omul obisnuit 'informatia este orice zgomot al mediului': melodia difuzata la radio sau vizionata la TV, telegrama, stirea aparuta in ziar etc. Specialistul in teoria informatiei va intelege masura cantitatii de informatie: inversul logaritmului in baza 2 din probabilitatea de aparitie a unui eveniment. Datele sunt utilizate pentru:

transmiterea informatiilor intre oameni;

pastrarea informatiilor pentru o utilizare viitoare;

obtinerea de noi informatii prin prelucrari.

Informatia ia in considerare intotdeauna semnificatia. De exemplu un tratat de medicina chineza scris in limba chineza constituie un ansamblu voluminos de date care nu poate fi exploatat de cineva care nu stie, pe de o parte, chineza si, pe de alta parte, medicina. De aici rezulta ca o trasatura fundamentala a informatiei este subiectivitatea. Ceea ce poate fi o informatie pentru o persoana, poate sa nu insemne nimic pentru altele. Pe de alta parte, pornind de la acelasi set de date, persoane diferite, prin prelucrari diferite, pot desprinde informatii diferite. Daca data are o existenta fizica, tangibila, informatia exista numai in receptor, fiind intangibila. Se poate spune ca informatia este produsul inteligentei omenesti.

In ultimul timp, ca urmare a progreselor realizate in tehnologiile hardware si software, materializate in cea de-a cincea generatie de calculatoare electronice se apreciaza ca ne aflam in etapa in care se face trecerea de la prelucrarea datelor la prelucrarea cunostintelor. S-a facut trecerea de la calculatoare care calculeaza si memoreaza date la calculatoare care rationeaza si informeaza. Denumirea de "calculator" devine improprie intrucat se prelucreaza cunostinte. Termenul adecvat ar fi sisteme de prelucrare a cunostintelor (KIPS - Knowledge Information Processing System).

Dupa DEX, cunostintele cuprind totalitatea notiunilor, ideilor, informatiilor pe care le are cineva intr-un domeniu oarecare. Desi nu intotdeauna se face distinctie intre notiunile de date, informatii, cunostinte, consideram ca in domeniul gestiunii intreprinderilor delimitarile sunt absolut necesare. In acest context abordarile se orienteaza astfel:

Datele se refera la numere, fapte, diferite documente etc. intreprinderile pastreaza datele care nu sunt prin ele insele valoroase.

Informatiile se refera la date organizate, date care au fost filtrate si ordonate dupa anumite criterii. Ele constituie baza deciziilor manageriale.

Cunostintele sunt utilizate in luarea deciziilor. Cunoasterea bazata pe insusirea informatiei produce decizii. Managerul care studiaza un raport si il poate interpreta utilizeaza cunostinte.

Deci in informatica economica se gestioneaza date, informatii si cunostinte. Sensul evolutiei in utilizarea calculatoarelor electronice este de la pastrarea datelor, la analiza si generarea informatiilor, respectiv la utilizarea cunostintelor rezultate (ajungand la concluzii, elaborand recomandari sau realizand actiuni). Ultimul aspect are in vedere utilizarea aplicatiilor de inteligenta artificiala (sisteme expert, sisteme bazate pe cunostinte).

Interpretari asemanatoare intalnim des in literatura de specialitate. Dupa Beyon nivelul data - informatie este considerat primul nivel in informatica de gestiune. La aceasta se adauga al doilea nivel, acela al informatiilor derivate din alte informatii pe baza de rationament, nivel considerat a fi nivelul cunostintelor.

Dupa Watters, cunostinta deriva din capacitatea de a evalua informatia intr-un anumit sens sau scop. A avea cunostinte, sau abilitatea de a efectua sarcini complexe, presupune mai mult decat a avea o lista de instructiuni sau informatii; se cere abilitatea de gestionare a informatiilor sau a sarcinilor. Nu orice data sau informatie creeaza cunostinte. Astfel unele informatii sunt deja intre cunostintele receptorului si deci nu genereaza informatii noi. Pe de alta parte, unele informatii s-ar putea sa nu aiba semnificatie pentru receptor, in sensul ca nu se integreaza printre cunostintele lui. O informatie este relevanta daca:

dezvolta cunostinte;

reduce nedeterminarea;

este utilizabila pentru scopul propus.

In filosofie informatia este tratata la acelasi nivel cu notiunile de substanta si energie. Se sustine ca notiunea de informatie desemneaza semnificatii deosebite si paradoxale, deoarece din punct de vedere gnoseologic informatia apare distincta de substanta si energie, iar din punct de vedere epistemologic si ontologic informatia apare identica cu substanta si energia. Concluzia este ca Substanta, Informatia si Energia sunt trei aspecte ale aceleiasi existente fundamentale.

Cibernetica priveste informatia sub trei aspecte: sintactic, ca mod de reprezentare prin numere, marimi, sunete etc, semantic, din punct de vedere al sensului (semnificatiei) pentru cel ce o receptioneaza si pragmatic, adica din punct de vedere al utilitatii.

Economia politica trateaza informatia ca o resursa primordiala, ca un factor de putere si incearca sa-i determine valoarea. Informatia nu este insa o resursa suficient de rara pentru a avea tratamentul similar altor resurse. Sunt insa preocupari in teoria valorii pentru integrarea informatiei si construirea unui model adecvat.

Dezvoltarea rapida si complexa a societatii a dus inevitabil la o sporire insemnata a volumului de informatii care tind sa aglomereze si sa blocheze canalele informationale. Pe de alta parte, nevoia de informatie pentru o cunoastere operativa si o dirijare constienta a dezvoltarii societatii, este din ce in ce mai mare. Menirea informaticii este tocmai de rezolvare a acestei contradictii dintre cresterea volumului de informatii si setea de informatii.

Pentru a se lua decizii rapide si optime este necesara o sporire a operativitatii, in colectarea, prelucrarea si prezentarea informatiilor precum si o valorificare superioara a acestora. Aceasta cerinta nu poate fi satisfacuta in conditiile unui volum din ce in ce mai mare de informatii decat prin folosirea mijloacelor si tehnicilor specifice informaticii.

Definita initial de Academia Franceza (in 1966) ca "Stiinta prelucrarii rationale a informatiei", considerata ca suport al comunicarilor in domeniile tehnice, economice si sociale, informatica a capatat noi valente pe masura extinderii domeniilor sale de utilizare.

Definitiile propuse ulterior accentueaza asupra caracterului complex al acestei stiinte. Astfel, la o conferinta internationala din 1978, privind strategiile si politicile in informatica, s-a adoptat urmatoarea definitie: "Informatica cuprinde domeniile legate de proiectarea, constructia, evaluarea, utilizarea si intretinerea sistemelor de prelucrare automata a datelor, incluzand componentele hardware, software, elementele organizationale si umane cu impactul lor in industrie, administratie, comert etc.

Pentru desemnarea procesului de introducere a informatiilor intr-un domeniu de activitate dat se foloseste termenul de informatizare.

In conditiile lumii moderne, cand in orice domeniu se cere o cunoastere rapida, complexa si multilaterala a realitatii, in scopul luarii unor decizii operative, oportune si fundamentate pe cerintele legilor obiective ce actioneaza in societate, ajutorul informaticii ca instrument al conducerii, este incontestabil. Se poate afirma fara a gresi, ca introducerea informaticii in stiinta, economie si societate constituie un proces inevitabil.

Rolul informaticii, ca mijloc de perfectionare a societatii, ca instrument de conducere se concretizeaza in mai multe directii:

asigura o cunoastere profunda si o informare operativa asupra starii si dinamicii relatiilor economice obiective dintre oameni si procesele de productie;

furnizeaza cu promptitudine informatii asupra categoriilor economice prin care se manifesta relatiile economice in economia de piata, cum sunt: cererea, oferta, costurile de productie, pretul, valoarea, profitul, salariile, etc, contribuind astfel la perfectionarea relatiilor dintre agentii economici.

Prin metodele moderne de care dispune, informatica constituie un mijloc de modelare si corelare optima a factorilor de productie, asigurand cresterea nemijlocita a eficientei economice generale, dar si pe fiecare intreprinzator in parte.

In procesele industriale complexe, variatia rapida a numerosilor parametri, precum si abaterea acestora de la limitele admise, pot fi urmarite si sesizate operativ, numai cu ajutorul calculatorului electronic.

Miniaturizarea elementelor electronice si sporirea functionalitatii acestora de catre om duc la efecte uluitoare nu numai in ce priveste inlocuirea elementelor mecanice cu cele electronice si prin aceasta la reducerea spatiilor de productie, generalizarea automatizarii, reducerea consumului de materii prime si materiale si implicit cresterea considerabila a productivitatii muncii, dar si la o patrundere si o integrare rapida a informaticii in structurile de productie, asigurand automatizarea verigilor primare ale acestora. Extinderea utilizarii microprocesoarelor in industrie va trebui sa asigure atat utilizarea rationala a masinilor si a celorlalte conditii de munca, precum si crearea premiselor pentru o noua gandire informatica, o revolutionare a structurii si universului ei.

Informatica constituie un factor de economisire a resurselor materiale de energie si munca. Punand la dispozitia oricarui sistem de productie informatii complete si operative asupra tuturor conditiilor in care isi desfasoara activitatea se pot stabili dimensiuni optime privind capacitatile de productie, piata de aprovizionare, piata de desfacere, costurile de productie, rentabilitatea, etc. contribuind astfel la eficientizarea activitatii.

Accesul larg la cuceririle stiintei si tehnicii moderne constituie, astazi, nu numai o conditie a dezvoltarii, a progresului economic, dar si un drept al tuturor popoarelor, dreptul de a cunoaste si a comunica.

Promovarea utilizarii informaticii, ca element central al tehnologiei informatiei, in cele mai variate aspecte ale activitatii sociale, se manifesta ca factor dinamizator, de vitalizare si progres al societatii.

Progresul stiintific in domeniul circuitelor integrate a influentat in mod deosebit tehnica de calcul. Se contureaza tendinta cunoscuta sub denumirea de informatica distribuita, aceasta constand in descentralizarea sistemelor de prelucrare automata a datelor. Se construiesc astfel, echipamente electronice de calcul ieftine dar capabile sa execute toate operatiile implicate in procesul de prelucrare in punctele generatoare de date. Se creeaza retelele de calculatoare cu posibilitati multiple de interconectare. Informatica distribuita este rezultatul integrarii dintre calculatoare si sistemele de comunicatie in vederea folosirii superioare a resurselor fizice si logice ale calculatoarelor.

Tehnologia informatica reunind cercetarea, proiectarea, folosirea si intretinerea sistemelor de automatizare a prelucrarii datelor - tinde sa devina o infrastructura generalizata. Aceasta se va realiza atat prin incorporarea de elemente informatice - hardware si software - in produse industriale si de uz casnic, cat mai ales prin folosirea tehnologiilor informatice in asistarea, reglarea si controlul proceselor tehnico-productive, a celor creative si de conducere.

Caracteristica esentiala a tehnologiei informatice moderne este dinamismul, care din anul 1975 cunoaste un ritm de crestere a valorilor produselor create de peste 20%, in conditiile in care rata medie a cresterii in economie a fost de numai 1%.

Aparitia circuitului integrat a dus in mod logic la ideea integrarii circuitelor electronice si la aparitia de dispozitive microelectronice cu un grad de integrare din ce in ce mai mare.

Aceste acumulari cantitative au dus la saltul tehnologic al microprocesorului care asigura prin evolutie si o transformare a informaticii si teleinformaticii in informatica distribuita, descentralizarea sistemelor de control automat si constituirea unor sisteme automatizate ierarhic, si descentralizate.

Dezvoltarea microprocesorului este semnificativa in doua sensuri:

- in primul rand a dat nastere intr-un moment de recesiune economica unei industrii noi, importante care se dezvolta extrem de rapid;

- in al doilea rand, produsele acestei industrii pot fi aplicate in toate sectoarele societatii si economiei cu mari posibilitati de sporire a productiei industriale.

Automatizarea flexibila, proiectarea asistata de calculator, robotii industriali, masinile cu comanda numerica, aparatura de masura si control integral automatizata, gestiunea productiei cu ajutorul calculatorului electronic, transferul electronic de fonduri etc. dinamiteaza pur si simplu principii tehnico-economice consacrate, asigurand totodata o baza noua, mai productiva si mai eficienta de activitate.

1.1.2. Entropia informationala

Facand abstractie de aspectele calitative ale informatiei, dupa cum am vazut extrem de complexe, si oprindu-ne la aspectele cantitative putem "masura" informatia. Preocuparile in vederea masurarii a cantitatii de informatie provin din teoria statistica a comunicatiei si se bazeaza pe ideea ca informatia exprima incertitudinea inlaturata prin realizarea unui eveniment dintr-un set de evenimente posibile.

Etalonul pentru masurarea cantitatii de informatie trebuie sa fie in asa fel ales incat sa poata masura informatiile, sa le poata compara, indiferent de modul cum sunt emise, transmise sau receptionate. In acest sens vom analiza un experiment care poate conduce la mai multe rezultate posibile, nu neaparat echiprobabile, care ne ofera informatii pe care nu le cunoastem aprioric.

Shannon a propus nu numai o masura cantitativa a informatiei adusa de realizarea unui eveniment cu o anumita probabilitate in cadrul unui experiment, ci ti o evaluare cantitativa a informatiei ce poate fi transferata de la un emitator (sursa) la un receptor (destinatar), atat pe un canal ideal, cat si pe canale afectate de zgomot. In acest scop el propune ca masura a nedeterminarii unui experiment cu n evenimente a₁, a₂, ., a_n caracterizat de probabilitatile:

expresia

denumita entropie. Daca baza logaritmului se considera 2, atunci entropia se masoara, ca si informatia, in biti.

Termenul "entropie" fusese introdus in fizica de Clausius in 1876 si exprimat in termodinamica statistica de catre Boltzmann, ca logaritmul probabilitatilor starilor unui sistem. Nu se va sti probabil niciodata daca numai analogia de forma l-a incitat pe Shannon sa introduca notiunea de entropie si notatia H in teoria informatiei sau a intuit de la inceput interconexiunile subtile si complexe dintre cele doua concepte: entropia termodinamica si entropia informationala. De altfel, legatura aceasta a fost subliniata ulterior de diversi autori, dintre care il mentionam pe Brillouin pentru enuntul generalizat al celui de-al doilea principu al termodinamicii, incluzand informatia.

Cea mai profunda relatie intre cele doua tipuri de entropie, si care apoi s-a remarcat si in alte stiinte care au apelat la acelasi formalism este insa cea legata de conceptul de ordine. Expresia matematica a entropiei permite verificarea a trei proprietati esentiale:

Cu conventia plog p=0 pentru p= 0, entropia definita de expresia (1) este pozitiva, simetrica si continua.

Oricare ar fi numerele p₁, p₂, . p_n,:

H( )   H(1/n, 1/n, ., 1/n)

3. Evenimentul se imparte in alte m evenimente disjuncte  cu probabilitatile , ., q_m astfel incat:

Pe baza acestor expresii se poate constata ca entropia maxima corespunde unei distributii echiprobabile si ca prin cresterea complexitatii unui experiment, entropia nu poate decat sa creasca (sau sa ramana constanta in cazul trivial). Pe langa multitudinea de fenomene naturale a caror efect este anularea diversitatii, numeroase procese tehnice, economice sau sociale evidentiaza legile entropiei.

Shannon a formulat o definitie matematica  si nu una conceptuala. Diferenta dintre aceste doua tipuri de definitii a fost subliniata de multi autori. Leibniz, de exemplu, facea distinctia dintre definitiile reale si cele nominale (matematice). Primele aratau clar daca un lucru este posibil, celelalte nu. Definitiile matematice sunt arbitrare, celelalte nu. Definitia lui Shannon este arbitrara. Alegerea functiei logaritmice se justifica prin proprietati matematice si nu prin proprietati specifice unui anume obiect. Cat timp folosim o lege arbitrara pentru a masura proprietatile unui obiect e totul in ordine, dar am gresi daca am incerca sa identificam prin aceasta masura chiar obiectul real.

Masura unui obiect nu poate fi confundata cu obiectul masurat. Asa cum nu putem confunda scala centigrada cu temperatura unui obiect, tot asa metrica utilizata de Shannon nu poate fi confundata cu conceptul de informatie. De regula o metrica se aplica pentru o singura proprietate.

Am constatat ca teoria lui Shannon a evidentiat latura "obiectiva" a informatiei, considerata complet independenta  de emitator si receptor, ca o reflectare naturala a strucuturii si ordonarii lumii reale.  Identificarea informatiei ca entropie negativa (negentropie), in sensul ca ce era nedeterminare (entropie) inainte de inceperea unui experiment devine informatie (negentropie) dupa efectuarea acestuia este tot un mod de accentuare a laturii obiective, prin trecerea de la dezordine la ordine. De aici si pana la identificarea conceptului de informatie cu cel de ordine nu a fost decat un pas.

In lumea tehnologiei informatiei nu apare o distinctie clara intre "prelucrarea informatiei" si "prelucrarea datelor". Daca la inceput se folosea sintagma «Prelucrarea electronica a datelor» - Electronic Data Processing (EDP), dupa aparitia sintagmei "Sisteme de gestionare a informatiei" - Management Information Systems (MIS), care este de altfel adecvata deoarece implica latura subiectiva data de prezenta factorului uman, managerul, atat in sfera comerciala cat si in lumea academica echivalenta intre informatie si date a devenit obisnuita. E adevarat ca termenul «informatie» suna mai actual, dar sa nu uitam de efortul semantic facut de informaticieni de a diferentia, in lumea bazelor de date, softul de gestiune - data base management systems (DBMS) si data base servers, de aplicatii software si middleware. Daca in DBMS "data" este perfect adecvat, in domeniul MIS (si al mai specializatelor DSS (Decision Support Systems) si EIS (Executive Information Systems)), termenul "informatie" este mai justificat. Intr-adevar, in zona MIS/DSS/EIS, informatia este intotdeauna subiectiva, in timp ce in software-ul non-aplicativ si in middleware informatia este intotdauna obiectiva.

C. Shannon a continuat cercetarile unui precursor in domeniul teoriei informatiei, R.V. Hartley, care inca in 1928 a introdus notiunea de cantitate de informatie.

Shannon a propus ca unitatea de masura a cantitatii de informatie sa fie informatia generata de realizarea unui experiment cu doua evenimente avand probabilitati egale de realizare. Aceasta unitate de masura poarta numele de BIT (BInary digiT = cifra binara, engl.) deoarece precizarea uneia din cifrele binare 0 sau 1 constituie o informatie unitate. Interpretarea poate fi facuta si altfel: o cifra binara stocheaza o cantitate de informatie de 1 bit.

Cantitatea de informatie de 1 bit este, de exemplu, informatia obisnuita cand se alege un raspuns 'da' sau 'nu' la o intrebare sau informatia obtinuta la aruncarea unei monede (avers sau revers).

Presupunem ca vrem sa aflam distributia probabilistica discreta, cu entropie informationala maxima. Atunci:

Desigur, suma acestor probabilitati este egala cu 1, deci restrictia noastra este:

Putem folosi multiplicatorii Lagrange pentru a gasi punctul entropiei maxime (depinzand de probabilitati). Pentru toti i de la 1 la n, se cere ca:

,

si obtinem:

Facand diferentierea acestor ecuatii n, obtinem:

.

Asta arata ca toti p_i sunt egali (deoarece ei depind doar de . Folosind restrictia ∑_k p_k = 1, gasim

Din aceasta rezulta ca distributia uniforma are cea mai mare entropie.