Sari la conținut

Overfitting-ul: de ce un model care învață prea bine din date greșește

Overfitting-ul apare când un model memorează datele de antrenament în loc să învețe tiparele. Vezi cum îl recunoști și cum se verifică un model pe date noi.

  • temăAI pe înțeles
  • publicat
  • autorEchipa LumeaTehnologiei
  • lectură4 min de citit
Grafic cu puncte împrăștiate și o curbă sinuoasă care trece exact prin fiecare punct
// cuprins7 secțiuni

Overfitting-ul (supraînvățarea) apare atunci când un model învață atât de exact datele de antrenament, inclusiv întâmplările și zgomotul din ele, încât nu se mai descurcă bine pe date noi. Modelul pare excelent în exercițiile pe care le-a mai văzut, dar greșește când întâlnește situații ușor diferite.

Ce înseamnă overfitting, pe înțelesul tuturor?

Overfitting-ul seamănă cu un elev care memorează răspunsurile din culegere, fără să înțeleagă regulile. La testul cu exact aceleași exerciții ia nota maximă, dar la probleme noi se încurcă. Un model supraînvățat face la fel: reține detalii care nu se generalizează.

Scopul unui model nu este să repete datele din care a învățat, ci să recunoască tipare utile și în situații necunoscute. Despre mecanismul general al învățării din exemple poți citi în articolul despre rețelele neuronale, unde se vede cum un model își ajustează treptat parametrii.

De ce apare supraînvățarea?

Supraînvățarea apare, de obicei, când modelul este prea flexibil în raport cu cantitatea sau calitatea datelor. Cauzele frecvente sunt:

  • Prea puține date: modelul găsește „tipare” care sunt doar coincidențe într-un set mic.
  • Model prea complex: cu foarte mulți parametri, poate memora cazuri individuale.
  • Antrenare prea lungă: după un punct, modelul nu mai învață tipare generale, ci începe să memoreze.
  • Date cu zgomot sau erori: modelul învață și greșelile din date, ca și cum ar fi reguli.

Calitatea setului contează la fel de mult ca volumul lui. Detalii despre acest aspect găsești în materialul despre datele de antrenament AI.

Cum se verifică un model pe date noi?

Un model se verifică prin împărțirea datelor în seturi separate, astfel încât să fie testat pe exemple pe care nu le-a văzut la antrenare. De regulă se folosesc trei seturi:

  1. Setul de antrenament: din el învață modelul.
  2. Setul de validare: servește la alegerea setărilor și la oprirea antrenării la momentul potrivit.
  3. Setul de test: se folosește la final, o singură dată, pentru a estima cât de bine se va descurca modelul în lumea reală.

Semnalul clasic al supraînvățării este o diferență mare între rezultatele pe datele de antrenament și cele pe datele noi. Dacă eroarea pe antrenament scade mereu, dar pe validare începe să crească, modelul memorează în loc să generalizeze.

O variantă des folosită este validarea încrucișată: datele sunt împărțite în mai multe părți, iar modelul este antrenat și testat pe rând, cu părți diferite. Rezultatul este o imagine mai stabilă decât una obținută dintr-o singură împărțire.

Cum se reduce supraînvățarea?

Nu există un remediu unic, dar câteva practici ajută în mod obișnuit:

  • adăugarea mai multor date, cât mai variate;
  • simplificarea modelului, adică mai puțini parametri;
  • oprirea timpurie a antrenării, când rezultatul pe validare încetează să se îmbunătățească;
  • regularizarea, o tehnică prin care modelul este penalizat dacă devine prea complicat;
  • curățarea datelor, pentru a elimina duplicatele și erorile.

Fiecare măsură are un cost: un model prea simplu poate ajunge la fenomenul opus, numit subînvățare, în care nu surprinde nici măcar tiparele reale din date.

De ce contează overfitting-ul pentru cine folosește AI?

Contează pentru că un model supraînvățat dă o impresie falsă de siguranță. Rezultatele impresionante din laborator pot dispărea în utilizarea reală, iar greșelile apar tocmai în cazurile neobișnuite. Când evaluezi un produs bazat pe AI, merită să întrebi pe ce date a fost testat și dacă acestea au fost separate de cele de antrenament. Și alte limite ale sistemelor automate, precum răspunsurile sigure, dar false, sunt discutate în articolul despre halucinațiile AI. Alte explicații pe aceeași temă se găsesc în secțiunea AI pe înțeles.

Pe scurt

  • Overfitting-ul înseamnă memorarea datelor de antrenament în locul învățării tiparelor.
  • Apare mai ales la modele complexe, date puține sau antrenare prea lungă.
  • Se descoperă testând modelul pe date pe care nu le-a văzut niciodată.
  • Se reduce prin mai multe date, modele mai simple, oprire timpurie și regularizare.

Întrebări frecvente

Care este diferența dintre overfitting și underfitting?

Overfitting înseamnă că modelul a învățat prea exact datele de antrenament. Underfitting înseamnă că este prea simplu și nu surprinde nici măcar tiparele de bază, deci greșește peste tot.

De ce nu ajunge testarea pe datele de antrenament?

Pentru că modelul le-a văzut deja și poate să le fi memorat. Doar datele noi arată cât de bine generalizează.

Pot modelele mari să sufere de overfitting?

Da, mai ales dacă setul de antrenament este mic sau conține multe repetiții. Mărimea modelului nu elimină nevoia de verificare pe date noi.

// trimite mai departe
// inteligenta-artificiala

Continuă pe aceeași orbită

Toată tema AI pe înțeles