Sari la conținut

Învățarea prin întărire: cum învață un AI din recompense și penalizări

În învățarea prin întărire, un AI încearcă acțiuni și primește recompense sau penalizări. Vezi cum funcționează, cu exemple din jocuri și din robotică.

  • temăAI pe înțeles
  • publicat
  • autorEchipa LumeaTehnologiei
  • lectură4 min de citit
Un mic robot într-un labirint de pereți, urmând un drum către ieșire
// cuprins7 secțiuni

Învățarea prin întărire (reinforcement learning) este o metodă prin care un program AI învață prin încercare și eroare: face o acțiune, primește o recompensă sau o penalizare și își ajustează comportamentul pentru a obține, pe termen lung, cât mai multe recompense. Nu primește răspunsuri gata date, ci descoperă singur ce funcționează.

Cum funcționează învățarea prin întărire?

Metoda se bazează pe o buclă simplă între un agent și mediul în care acționează. Agentul este programul care învață, iar mediul este tot ce se află în jurul lui: un joc, o simulare sau o încăpere reală. În fiecare pas se întâmplă următoarele:

  1. Agentul observă starea curentă a mediului.
  2. Alege o acțiune, la început adesea aproape la întâmplare.
  3. Mediul reacționează și îi oferă o recompensă (număr pozitiv) sau o penalizare (număr negativ).
  4. Agentul își actualizează strategia, numită politică, pentru ca acțiunile utile să fie alese mai des.

După foarte multe repetări, agentul ajunge să aleagă acțiuni bune chiar și în situații pe care nu le-a mai văzut exact. Un termen important este recompensa cumulată: contează suma câștigurilor pe termen lung, nu doar rezultatul imediat.

Cum diferă de celelalte tipuri de învățare?

În învățarea prin întărire nu există un set de exemple cu răspuns corect, ci doar un semnal de scor. În învățarea supervizată, modelul primește perechi de tipul „intrare – răspuns corect”, iar în cea nesupervizată caută tipare fără etichete. Pentru o comparație între cele două, fiecare tip are aplicațiile lui.

O diferență esențială este întârzierea feedbackului. Într-un joc de șah, o mutare bună poate produce efect abia după zeci de mutări, iar agentul trebuie să afle care dintre acțiunile anterioare a contat cu adevărat.

Exemple din jocuri și din robotică

Jocurile sunt terenul clasic de probă, pentru că au reguli clare și un scor evident. Programe antrenate prin întărire au învățat să joace jocuri de masă și jocuri video jucând de nenumărate ori împotriva lor înseși, fără să li se explice strategii.

În robotică, ideea este aceeași, dar mediul este mai greu de controlat. Un robot poate învăța:

  • să păstreze echilibrul în timp ce merge;
  • să apuce obiecte de forme diferite;
  • să se deplaseze printr-un labirint fără să se lovească de pereți.

Pentru că greșelile reale pot deteriora echipamentul, mare parte din antrenare se face într-o simulare pe calculator, iar abia apoi comportamentul este încercat în lumea fizică. Trecerea de la simulare la realitate rămâne dificilă, pentru că simularea nu surprinde niciodată totul.

Unde apare în asistenții AI de zi cu zi?

O formă de învățare prin întărire este folosită și la îmbunătățirea modelelor de limbaj. După antrenarea de bază, oamenii pot evalua mai multe răspunsuri ale modelului, iar aceste preferințe sunt transformate într-un semnal de recompensă. Modelul este apoi ajustat să producă răspunsuri apreciate mai des. Aceasta este una dintre căile prin care un asistent devine mai politicos și mai util în conversație.

Principiul recompensei apare și la sistemele care acționează singure, cum sunt agenții AI, unde un obiectiv bine definit orientează deciziile. Ajustarea ulterioară a unui model existent este discutată și în materialul despre reglajul fin.

Ce probleme poate avea metoda?

Cea mai mare problemă este alegerea recompensei, pentru că agentul urmărește exact ce îi este cerut, nu ce își dorește omul. Dacă scorul este definit prost, agentul poate găsi scurtături neașteptate: de exemplu, un program care primește puncte pentru a aduna obiecte ar putea să se învârtă în jurul aceluiași obiect, în loc să rezolve sarcina reală.

Alte limite sunt:

  • nevoia de un număr foarte mare de încercări, care consumă timp și putere de calcul;
  • dificultatea de a explora suficient, fără a repeta mereu ce a funcționat o dată;
  • greutatea de a explica de ce agentul a ales o anumită acțiune.

Din aceste motive, învățarea prin întărire se folosește unde obiectivul poate fi exprimat clar și unde simularea este posibilă. Alte teme din domeniu sunt prezentate în secțiunea AI pe înțeles.

Pe scurt

  • Agentul încearcă acțiuni, primește recompense sau penalizări și își ajustează strategia.
  • Nu există răspunsuri corecte date dinainte, doar un semnal de scor.
  • Se folosește în jocuri, în robotică și la ajustarea modelelor de limbaj.
  • Alegerea recompensei și numărul mare de încercări sunt principalele dificultăți.

Întrebări frecvente

Are nevoie învățarea prin întărire de date de antrenament?

Nu în forma clasică de exemple etichetate. Agentul își generează singur experiența prin interacțiunea cu mediul sau cu o simulare.

Poate un AI să „trișeze” pentru a obține recompensa?

Da, dacă recompensa este definită imprecis, agentul poate exploata o lacună în reguli. De aceea proiectarea recompensei se testează atent.

Este aceeași metodă cu cea din jocurile video obișnuite?

Nu. Adversarii din multe jocuri urmează reguli scrise de programatori. Învățarea prin întărire este o metodă prin care programul își construiește singur strategia.

// trimite mai departe
// inteligenta-artificiala

Continuă pe aceeași orbită

Toată tema AI pe înțeles