Tehnici de instruire pentru ANN

Tehnici de instruire pentru ANN

Procesul de instruire este cel mai important aspect pentru asigurarea performantelor unei ANN. Cum invatarea nu este un proces unic, ea fiind specifica diferitelor nivele de inteligenta sau de complexitate biologica, ingineria retelelor neurale trebuie sa selecteze cele mai eficiente modele si le integreaza in modul cel mai potrivit in ANN. Instruirea este - general vorbind - procesul prin care reteaua neurala se adapteaza ea insasi la stimuli si produce un raspuns dorit. In timpul invatarii unui model sau proces, reteaua isi ajusteaza parametrii, reprezentati de ponderile de conexiune dintre noduri. Cand iesirea actuala este aceeasi cu raspunsul dorit, reteaua este complet instruita, adica ea a "achizitionat cunostinte".

Parametrii importanti ai instruirii unui model sunt: multimea vectorilor de intrare, multimea iesirilor tinta (cate una pentru fiecare vector de intrare), marimea ratei de instruire si a pasului de modificare a acesteia, tipul neliniaritatii, criteriul de stop, valoarea acceptabila a erorii minime sau a numarului maxim de iteratii. Pentru instruire au fost propuse diferite metodologii si tehnici, in functie de modelele diferite de ANN utilizate.

Instruirea supervizata consta in sesiuni in care se aplica retelei stimuli de invatare, iar raspunsurile obtinute sunt comparate cu semnale de iesire dorite (raspunsurile tinta). Daca raspunsul actual difera de cel tinta, reteaua genereaza un semnal de eroare, care este utilizat pentru ajustarea valorii ponderilor. Procesul se repeta pana cand eroarea este minimizata. Minimizarea este executata de un modul specializat, numit instructor sau supervizor, de unde si numele metodei. Instrumentele matematice utilizate in minimizare deriva din tehnicile de optimizare. Eficienta instruirii poate fi estimata prin durata efectuarii unei iteratii, numarul de iteratii necesar pentru invatarea unui model de intrare, natura minimului gasit (local sau global) si posibilitatea evitarii ca solutii a minimelor locale. In Figura III.12 este prezentat modelul unui neuron cu instructor, utilizand notatiile: - vectorul ponderilor la intrarea neuronului i; - vectorul de intrare al neuronului i; R_i = w^Tx - iesirea neuronului i inaintea neliniaritatii; - iesirea neuronului i dupa neliniaritate; T_i - semnalul tinta al instruirii; E_i = T_i - O_i - eroarea de iesire utilizata in timpul instruirii; Dw_ij - modificarile ponderilor in timpul instruirii.

In general, modificarile Dw_ij sunt proportionale cu semnalul de instruire (stimulul) aplicat neuronului si cu eroarea de iesire:

(3.70)

unde m este o mica constanta pozitiva, numita rata de instruire. Daca ponderile sunt calculate pe computer, ecuatia capata forma discreta:

(3.71)

O regula de instruire poate fi exprimata in acest caz prin:

termen corectie (3.72) unde k este numarul pasului de iteratie. Instruirea va fi completa atunci cand termenul de corectie va fi 0.

Figura III.12. Modelul neuronului cu instructor

Instruirea nesupervizata nu utilizeaza nici instructor, nici iesire tinta. Reteaua neurala primeste la intrare diferite excitatii (sau modele) si le clasifica arbitrar in categorii sau clase. Cand ulterior sunt aplicati alti stimuli, ANN furnizeaza la iesire un raspuns care indica o clasa sau o categorie careia ii apartine respectivul semnal. Daca acesta nu poate fi incadrat in nici o clasa, i se creeaza una noua. Gruparea in clase sau categorii este ghidata de un set de anumite caracteristici stabilite apriori (criterii de selectie), care sunt de obicei inglobate prin proiectare in structura retelei. Considerand ca neliniaritate functia bipolara sgn(.) (adica k_i = O_i) si avand in vedere ca vectorul T_i nu exista, iesirea retelei se poate calcula din:

(3.73)

unde k este numarul iteratiei, iar ponderile initiale sunt generate aleator ca mici valori in jurul lui 0. Urmatoarea actualizare a ponderilor este calculata din:

(3.74)

(3.75)

Procesul se reia pana cand semnalul de iesire si/sau ponderile nu se mai modifica.

Instruirea cu consolidare necesita, ca si la instruirea supervizata, un instructor. Nodurile de iesire furnizeaza un raspuns mai mult sau mai putin similar cu raspunsul tinta. In locul raspunsului tinta, supervizorul furnizeaza retelei indicii daca raspunsul este bun sau rau, iar semnalul de eroare generat in timpul sesiunii de instruire este binar: 1 - bun, 0 - rau. Daca indicatiile instructorului sunt negative, reteaua isi ajusteaza ponderile si incearca un nou raspuns. Strategiile de estimare a eficientei invatarii si criteriile de oprire sunt radical diferite de cele ale metodei cu supervizare, pentru ca reteaua nu poate determina singura daca se indreapta sau nu in directia buna

Instruirea competitiva este o alta forma de instruire supervizata, avand insa caracteristici de operare diferite. Stratul de iesire al retelei contine mai multi neuroni. Cand se aplica un stimul de intrare, fiecare nod de iesire concureaza cu celelalte pentru a produce raspunsul cel mai apropiat de tinta. Nodul care realizeaza acest lucru devine dominant si pe viitor el va produce iesiri la respectivul stimul de intrare. Pentru alti stimuli, alte noduri vor fi dominante, s.a.m.d. Procesul prin care fiecare nod de iesire este instruit sa raspunda la anumiti stimuli de intrare se numeste specializare aleatoare.

Instruirea cu regula delta ajusteaza continuu valorile ponderilor prin metoda minimizarii erorii medii patratice. Eroarea delta este definita astfel:

(3.76)

unde w_i este matricea de reprezentare a ponderilor, iar x_i, O_i si T_i sunt vectorii de reprezentare ai intrarii, iesirii actuale si iesirii tinta pentru neuronul i. Vectorul gradientului erorii este:

(3.77)

In tentativa de minimizare a erorii, consideram:

(3.78)

unde m este o constanta pozitiva. Astfel, Dw_i devine:

(3.79)

si actualizarea vectorului ponderilor se face utilizand relatia:

(3.80)

Daca se presupune ca neliniaritatea sigmoidala are k=1, atunci gradientul este aproximat cu relatia:

(3.81)

iar relatia (3.80) devine:

(3.82)

Instruirea hebbiana, propusa in 1949 de catre Donald Hebb, se bazeaza pe modificarea ponderilor w dintre doi neuroni pe baza corelatiei intre intrarile si iesirile acestora.

Algoritmul de instruire reprezinta o descriere a procedurii de modificare in timpul sesiunii de instruire a ponderilor de conexiune w_ij. Valorile finale ale acestora constituie programul ANN. Instruirea unei ANN se focalizeaza pe un algoritm particular, in functie de modelul acesteia. Selectia functiei de eroare si a metodei de optimizare este importanta, pentru ca asigura stabilitatea sau instabilitatea sistemului, cat si evitarea sau nu a unor solutii plasate in minime locale. Un algoritm de instruire poate fi implementat pe cai diferite, ca o procedura secventiala iterativa. Cele mai frecvente implementari se fac pe baza unui microprocesor.