O rețea neuronală artificială este un model matematic format din multe unități de calcul simple, numite neuroni artificiali, legate între ele în straturi. Fiecare legătură are o pondere, adică un număr care spune cât de mult contează semnalul transmis. Învățarea înseamnă ajustarea acestor ponderi, pas cu pas, până când rețeaua transformă corect datele de intrare în răspunsul dorit.
Numele vine de la o analogie îndepărtată cu neuronii din creier, dar asemănarea se oprește la idee: rețelele artificiale sunt calcule cu numere, nu celule vii. În acest articol urmărim drumul complet, de la un singur neuron la rețelele cu miliarde de parametri, și vedem concret ce se întâmplă când spunem că o rețea „învață”.
Neuronul artificial, piesa de bază
Neuronul artificial este o funcție foarte simplă: primește câteva numere, le înmulțește fiecare cu o pondere, adună rezultatele, adaugă o valoare numită deplasare (bias) și trece suma printr-o funcție de activare. Tot ce fac rețelele mari se construiește din milioane de astfel de operații elementare.
Un exemplu din viața de zi cu zi: decizi dacă ieși la alergat. Iei în calcul vremea, cât de obosit ești și dacă ai timp. Fiecare factor are o importanță diferită pentru tine, adică o pondere. Dacă suma ponderată depășește un prag, ieși; altfel, rămâi acasă. Neuronul artificial face exact acest calcul, doar că ponderile nu le alegi tu, ci sunt învățate din date.
Funcția de activare
Funcția de activare decide ce semnal trimite neuronul mai departe. Fără ea, oricâte straturi ai pune, întreaga rețea s-ar comporta ca un singur calcul liniar și n-ar putea învăța tipare complicate. Funcțiile folosite des sunt:
- ReLU: lasă să treacă valorile pozitive și transformă valorile negative în zero; simplă și foarte răspândită;
- sigmoida: comprimă orice valoare între 0 și 1, utilă când rezultatul trebuie interpretat ca probabilitate;
- tangenta hiperbolică: comprimă valorile între -1 și 1;
- softmax: transformă un șir de numere în probabilități care însumează 1, folosită pe ultimul strat la clasificare.
Straturile: de la pixeli la concepte
Rețelele sunt organizate în straturi, iar fiecare strat transformă informația primită într-o reprezentare puțin mai abstractă. Această ierarhie este secretul puterii lor.
| Strat | Ce conține | Exemplu la recunoașterea unei imagini |
|---|---|---|
| Strat de intrare | datele brute | valorile de culoare ale fiecărui pixel |
| Primele straturi ascunse | tipare simple | margini, linii, colțuri |
| Straturile din mijloc | combinații de tipare | ochi, roți, ferestre |
| Straturile adânci | concepte complexe | față, mașină, clădire |
| Strat de ieșire | răspunsul | probabilitatea pentru fiecare categorie |
Când o rețea are multe straturi ascunse, vorbim de învățare profundă (deep learning). „Profund” se referă la numărul de straturi, nu la vreo profunzime a gândirii. Ce este interesant e că nimeni nu îi spune rețelei să caute margini sau ochi: aceste detectoare apar singure, în timpul antrenării, pentru că sunt utile pentru sarcina dată.
Rețelele neuronale sunt o familie din cadrul mai larg al învățării automate, descris în Învățarea automată (machine learning) explicată simplu, și stau la baza aproape tuturor progreselor recente din inteligența artificială.
Trecerea înainte: cum produce rețeaua un răspuns
Trecerea înainte (forward pass) este drumul datelor prin rețea, de la intrare la ieșire, strat după strat. Fiecare neuron primește valorile de la stratul anterior, face calculul ponderat, aplică activarea și trimite rezultatul mai departe.
La final, stratul de ieșire produce răspunsul. Pentru o rețea care recunoaște cifre scrise de mână, ieșirea are zece valori, câte una pentru fiecare cifră de la 0 la 9, interpretate ca probabilități. Dacă valoarea pentru cifra 7 este cea mai mare, rețeaua „spune” că a văzut un 7.
La o rețea abia creată, ponderile sunt alese aleatoriu, deci răspunsurile sunt la întâmplare. Abia antrenarea le dă sens.
Funcția de pierdere: cât de mult greșește rețeaua
Funcția de pierdere (loss function) este un număr care măsoară cât de departe este răspunsul rețelei de răspunsul corect; antrenarea are un singur scop: să facă acest număr cât mai mic. Dacă rețeaua dă probabilitate mare cifrei corecte, pierderea e mică; dacă se înșală cu încredere, pierderea e mare.
Pierderile folosite des:
- eroarea pătratică medie, pentru probleme în care se estimează un număr, cum ar fi o temperatură;
- entropia încrucișată (cross-entropy), pentru clasificare, care penalizează puternic răspunsurile greșite date cu siguranță mare.
Sfat: Gândește-te la funcția de pierdere ca la nota primită de rețea la fiecare exercițiu, doar că aici nota mică e cea bună. Toată ingineria antrenării urmărește coborârea acestei note pe exemple pe care rețeaua nu le-a memorat.
Coborârea pe gradient: cum se corectează ponderile
Coborârea pe gradient este metoda prin care rețeaua află în ce direcție să modifice fiecare pondere pentru ca eroarea să scadă. Analogia clasică este coborârea unui munte pe ceață: nu vezi valea, dar simți sub picioare încotro coboară terenul și faci un pas mic în acea direcție. Repeți până ajungi jos.
Gradientul este, simplu spus, panta: pentru fiecare pondere, el arată dacă o creștere mică ar mări sau ar micșora eroarea, și cu cât. Rețeaua mută fiecare pondere puțin în direcția care reduce eroarea.
Rata de învățare
Mărimea pasului se numește rată de învățare (learning rate) și este una dintre cele mai importante setări:
| Rată de învățare | Ce se întâmplă |
|---|---|
| Prea mare | pașii sar peste vale, eroarea oscilează sau crește |
| Prea mică | antrenarea avansează extrem de lent și se poate bloca |
| Potrivită | eroarea scade constant și se stabilizează |
În practică, rata se reduce adesea treptat: pași mari la început, pași mici spre final, pentru ajustări fine.
Loturi și epoci
Datele nu sunt trecute prin rețea toate odată, ci în loturi (batches) mici, de câteva zeci sau sute de exemple. După fiecare lot, ponderile se actualizează. O trecere completă prin toate datele de antrenare se numește epocă, iar antrenarea durează de obicei mai multe epoci.
Propagarea înapoi: cum ajunge corectura la fiecare strat
Propagarea înapoi (backpropagation) este algoritmul care calculează eficient gradientul pentru fiecare pondere din rețea, pornind de la eroarea de la ieșire și mergând înapoi, strat cu strat. Fără ea, antrenarea rețelelor mari ar fi practic imposibilă.
Ideea este o împărțire a responsabilității. Dacă ieșirea a greșit, ultimul strat află cât a contribuit fiecare dintre neuronii lui la greșeală. Apoi fiecare dintre aceștia „trimite” înapoi o parte din vină către neuronii din stratul anterior care l-au alimentat, proporțional cu ponderea legăturii. Procesul continuă până la primul strat.
Pașii unui ciclu complet de antrenare arată așa:
- un lot de exemple trece înainte prin rețea și se obțin predicții;
- funcția de pierdere compară predicțiile cu răspunsurile corecte;
- propagarea înapoi calculează gradientul pentru fiecare pondere;
- ponderile se modifică puțin, în direcția care reduce eroarea;
- se trece la lotul următor, iar ciclul se repetă de mii sau milioane de ori.
De ce e nevoie de hardware special
Fiecare ciclu înseamnă înmulțiri de matrice uriașe, adică foarte multe operații simple care pot fi făcute în paralel. Procesoarele grafice și cipurile specializate pentru AI sunt construite exact pentru astfel de calcule paralele, motiv pentru care antrenarea modelelor mari se face în centre de date, descrise în Centrele de date: cum funcționează și ce resurse consumă. Despre felul în care un procesor obișnuit execută instrucțiuni afli mai multe în Tehnologia digitală explicată: de la biți la aplicații.
Arhitecturile principale de rețele
Nu toate rețelele sunt construite la fel; felul în care sunt legate straturile se numește arhitectură și se alege după tipul de date. Trei familii domină domeniul.
Rețelele convoluționale
Rețelele convoluționale sunt potrivite pentru imagini. În loc să conecteze fiecare pixel cu fiecare neuron, ele plimbă peste imagine niște filtre mici care caută același tipar în orice poziție. O margine verticală e recunoscută la fel în colțul din stânga ca în cel din dreapta.
Rețelele recurente
Rețelele recurente prelucrează secvențe, cum ar fi textul sau sunetul, element cu element, păstrând o formă de memorie a ce a fost înainte. Au fost mult timp standardul pentru traducere și recunoașterea vorbirii, dar au dificultăți cu secvențele foarte lungi.
Arhitectura transformer
Transformerul folosește un mecanism numit atenție, prin care fiecare element al secvenței poate „privi” direct la toate celelalte și decide care sunt relevante. Arhitectura se antrenează foarte bine în paralel și stă la baza modelelor de limbaj actuale, explicate în Modelele de limbaj mari (LLM): cum generează text. Variante ale ei sunt folosite și în modelele care generează imagini, descrise în Generarea de imagini cu AI: cum funcționează difuzia.
Problemele tipice ale antrenării
Antrenarea unei rețele rareori merge perfect din prima, iar câteva probleme apar atât de des încât au nume proprii. Cunoașterea lor te ajută să înțelegi de ce modelele au limite.
- Supraînvățarea: rețeaua memorează exemplele în loc să generalizeze. Se combate cu mai multe date, cu tehnica numită dropout (oprirea aleatorie a unor neuroni la antrenare) și cu oprirea timpurie.
- Gradienții care dispar: în rețelele foarte adânci, corectura ajunge atât de slabă la primele straturi încât acestea aproape nu mai învață. Activările moderne și conexiunile reziduale, care sar peste straturi, au redus mult problema.
- Datele dezechilibrate: dacă o categorie e rară, rețeaua poate învăța s-o ignore.
- Scurtăturile: rețeaua găsește un indiciu irelevant care, din întâmplare, funcționează în datele de antrenare, de pildă fundalul fotografiilor în loc de obiectul din ele.
Atenție: O rețea poate da răspunsuri foarte sigure pe date care nu seamănă cu nimic din antrenare. Siguranța afișată nu este o garanție de corectitudine, fenomen înrudit cu halucinațiile descrise în Halucinațiile AI: de ce inventează uneori modelele.
Ideile principale despre rețelele neuronale
O rețea neuronală este un lanț de calcule simple, organizate în straturi, cu milioane sau miliarde de ponderi ajustabile. Învață repetând un ciclu: predicție, măsurarea erorii, propagarea corecturii înapoi și modificarea ponderilor cu pași mici. Puterea ei vine din volum, din numărul de straturi și din datele pe care le primește, nu dintr-o înțelegere asemănătoare celei umane.
De reținut:
- neuronul artificial face o sumă ponderată urmată de o funcție de activare;
- straturile succesive construiesc reprezentări din ce în ce mai abstracte;
- funcția de pierdere măsoară eroarea, iar coborârea pe gradient o reduce;
- propagarea înapoi distribuie corectura către fiecare pondere;
- arhitectura se alege după tipul de date: imagini, secvențe sau text.
Întrebări frecvente
Rețelele neuronale funcționează ca creierul uman?
Doar la nivel de inspirație. Neuronii artificiali sunt funcții matematice simple, iar felul în care învață rețelele, prin propagare înapoi, nu corespunde modului în care învață creierul biologic.
Ce este un parametru al unei rețele?
Este un număr intern ajustat în timpul antrenării, de regulă o pondere sau o deplasare. Modelele mari au miliarde de parametri, iar împreună aceștia codifică tot ce a învățat rețeaua.
De ce durează atât de mult antrenarea unei rețele mari?
Pentru că fiecare actualizare a ponderilor cere calcule pe toate straturile, iar ciclul se repetă de milioane de ori pe volume mari de date. De aceea se folosesc procesoare specializate, care lucrează în paralel.
Poate o rețea să explice de ce a luat o decizie?
De obicei nu în mod direct. Există metode care arată ce părți ale intrării au influențat cel mai mult rezultatul, dar ele oferă indicii, nu o explicație completă a raționamentului.
