Un model de limbaj mare (în engleză, large language model, prescurtat LLM) este o rețea neuronală antrenată pe cantități uriașe de text ca să prezică ce urmează într-o secvență de cuvinte. Când pui o întrebare unui asistent conversațional, modelul nu caută răspunsul într-o enciclopedie: îl construiește bucată cu bucată, alegând de fiecare dată continuarea cea mai potrivită după tot ce s-a scris înainte.
Pare o idee prea simplă ca să explice texte coerente, rezumate sau traduceri, dar tocmai scara la care se aplică face diferența. Mai jos afli ce sunt tokenii, cum învață modelul, de ce are nevoie de o etapă separată ca să devină un asistent util, ce înseamnă fereastra de context și ce setări schimbă stilul răspunsurilor.
Ideea de bază: prezicerea fragmentului următor
Un model de limbaj face un singur lucru, repetat de foarte multe ori: estimează probabilitatea fiecărui fragment posibil care ar putea urma după textul de până acum și alege unul. Apoi adaugă fragmentul ales la text și repetă calculul pentru următorul.
Gândește-te la propoziția „Am pus laptele în...”. Un vorbitor de română simte că urmează probabil „frigider”, mai rar „cafea” și aproape niciodată „autobuz”. Modelul face aceeași estimare, dar pentru zeci de mii de variante deodată, folosind un context care poate cuprinde pagini întregi de text.
De ce iese un text coerent
Ca să prezică bine continuarea în milioane de situații diferite, modelul este obligat să învețe indirect gramatica, sensul cuvintelor, legăturile dintre concepte, stilurile de scriere și o mulțime de informații despre lume. Nimeni nu îi predă explicit aceste lucruri; ele apar ca efect secundar al sarcinii de predicție, la fel cum detectoarele de margini apar singure într-o rețea de recunoaștere a imaginilor, mecanism explicat în Rețelele neuronale: cum învață un model din date.
Tokenii: unitățile cu care lucrează modelul
Modelele de limbaj nu citesc litere și nici cuvinte întregi, ci tokeni: fragmente de text care pot fi un cuvânt scurt, o parte dintr-un cuvânt, un semn de punctuație sau un spațiu. Împărțirea se face automat, după frecvența combinațiilor de caractere din datele de antrenare.
| Text | Posibilă împărțire în tokeni | Observație |
|---|---|---|
| casă | un singur token | cuvânt foarte frecvent |
| neînțelegerile | 3–5 tokeni | cuvânt lung, cu prefix și sufix |
| 2026 | 1–2 tokeni | numerele se împart adesea în bucăți |
| un emoticon | 1–3 tokeni | simbolurile speciale costă mai mult |
De ce contează tokenii pentru tine
- limba contează: textele în română ocupă, de regulă, mai mulți tokeni decât același text în engleză, pentru că vocabularul tokenizatoarelor e construit mai ales pe engleză;
- limitele se măsoară în tokeni: lungimea maximă a unei conversații sau a unui document încărcat se exprimă în tokeni, nu în pagini;
- literele individuale sunt greu de „văzut”: modelul vede fragmente, așa că sarcini precum numărarea literelor dintr-un cuvânt îi pot da bătăi de cap.
Fiecare token este transformat apoi într-un vector, adică un șir lung de numere, numit încorporare (embedding). Cuvintele cu sens apropiat ajung să aibă vectori apropiați, ceea ce permite modelului să lucreze cu sensuri, nu doar cu forme.
Arhitectura transformer și mecanismul de atenție
Modelele de limbaj actuale se bazează pe o arhitectură numită transformer, al cărei element central este atenția: fiecare token poate cântări cât de relevant este fiecare alt token din context pentru înțelegerea lui. Așa se rezolvă, de exemplu, la cine se referă un pronume aflat la trei propoziții distanță.
În propoziția „Mașina nu a încăput în garaj pentru că era prea mare”, cuvântul „era” trebuie legat de „mașina”, nu de „garaj”. Mecanismul de atenție învață să facă aceste legături privind simultan întreaga propoziție. Un transformer are zeci de straturi, iar fiecare strat are mai multe „capete” de atenție, fiecare specializat, în mod spontan, pe alt tip de relație: gramaticală, de sens, de poziție.
Avantajul practic al arhitecturii este că se antrenează foarte eficient în paralel, pe mii de procesoare simultan, lucru care a făcut posibile modelele cu miliarde de parametri. Despre infrastructura necesară pentru asta afli mai multe în Centrele de date: cum funcționează și ce resurse consumă.
Cum se antrenează un model de limbaj
Un asistent conversațional modern trece prin cel puțin două etape mari de antrenare: o preantrenare pe text general, care îi dă cunoștințele și limba, și o reglare care îl învață să urmeze instrucțiuni și să se comporte util și sigur. Fiecare etapă are alt scop și alte date.
Preantrenarea
În preantrenare, modelul citește cantități enorme de text public sau licențiat: pagini web, cărți, articole, documentație, cod. Sarcina este mereu aceeași: ghicește tokenul următor. Este etapa cea mai costisitoare și poate dura săptămâni sau luni pe mii de procesoare. La final rezultă un model de bază, care continuă texte foarte bine, dar nu știe încă să fie un asistent: dacă îi scrii o întrebare, poate continua cu alte întrebări, ca într-o listă.
Reglarea fină și alinierea
În a doua etapă, modelul primește exemple de conversații bune, cu instrucțiuni și răspunsuri scrise sau verificate de oameni. Apoi urmează adesea o formă de învățare prin întărire cu feedback uman: evaluatorii compară mai multe răspunsuri ale modelului și aleg varianta mai bună, iar modelul este ajustat să le prefere pe acelea. Principiile acestui tip de învățare sunt descrise în Învățarea automată (machine learning) explicată simplu.
| Etapă | Date folosite | Ce rezultă |
|---|---|---|
| Preantrenare | volume foarte mari de text general | model de bază, bun la continuarea textului |
| Reglare cu instrucțiuni | exemple de cereri și răspunsuri bune | model care urmează instrucțiuni |
| Învățare din preferințe umane | comparații între răspunsuri | ton util, refuzul cererilor periculoase |
| Evaluare și testare | seturi de verificare, teste de siguranță | decizia de lansare și limitele cunoscute |
Important: Preantrenarea se oprește la un moment dat, numit data-limită a cunoștințelor. Fără acces la căutare sau la documente actualizate, modelul nu știe ce s-a întâmplat după acea dată, chiar dacă răspunde fără ezitare.
Fereastra de context: memoria de lucru a modelului
Fereastra de context este cantitatea maximă de text, măsurată în tokeni, pe care modelul o poate lua în calcul la un moment dat, inclusiv instrucțiunile, conversația anterioară, documentele încărcate și răspunsul pe care îl scrie. Tot ce iese din fereastră nu mai există pentru model.
Consecințe practice:
- într-o conversație foarte lungă, informațiile de la început pot ieși din fereastră și modelul „uită” ce i-ai spus;
- chiar și în interiorul ferestrei, detaliile din mijlocul unui text foarte lung sunt uneori folosite mai slab decât cele de la început sau de la sfârșit;
- modelul nu învață din conversația ta: când închizi discuția, ce i-ai explicat nu modifică ponderile lui.
Unele aplicații adaugă o funcție de memorie, care salvează anumite informații despre tine și le pune automat în context la conversațiile următoare. Este o funcție a aplicației, nu a modelului, și de regulă poate fi verificată și ștearsă din setări.
Ce înseamnă căutarea augmentată
Pentru a lucra cu informații actuale sau cu documentele unei firme, multe sisteme folosesc generarea augmentată prin căutare (retrieval-augmented generation, RAG): înainte de a răspunde, aplicația caută pasaje relevante într-o colecție de documente sau pe internet și le pune în fereastra de context. Modelul își construiește răspunsul pe baza lor, ceea ce reduce, fără să elimine, riscul de informații inventate.
Cum se alege fiecare cuvânt: temperatura și eșantionarea
După ce calculează probabilitățile pentru tokenul următor, modelul nu alege mereu varianta cea mai probabilă; o setare numită temperatură controlează cât de mult se abate de la ea. Acesta este motivul pentru care aceeași întrebare poate primi răspunsuri ușor diferite.
| Temperatură | Comportament | Potrivită pentru |
|---|---|---|
| Joasă | alege aproape mereu varianta cea mai probabilă | răspunsuri factuale, extragere de date, cod |
| Medie | echilibru între previzibil și variat | majoritatea conversațiilor |
| Ridicată | alege mai des variante mai puțin probabile | brainstorming, texte creative |
Pe lângă temperatură, se folosesc metode care taie din start variantele foarte improbabile, ca să nu apară cuvinte fără sens. În aplicațiile pentru public aceste setări sunt de obicei fixate de furnizor, dar merită să știi că variația răspunsurilor este una voită, nu o defecțiune.
Ce știe și ce nu știe un model de limbaj
Un model de limbaj știe foarte bine cum sună un text corect și plauzibil, dar nu are un mecanism intern prin care să verifice dacă o afirmație este adevărată. Cunoștințele lui sunt distribuite în miliarde de ponderi, sub formă de asocieri statistice, nu ca fișe ordonate într-o bibliotecă.
Punctele forte
- reformularea, rezumarea și traducerea textelor;
- explicarea unor concepte cunoscute, pe diferite niveluri de dificultate;
- structurarea ideilor, planuri, schițe și liste de verificare;
- scrierea și explicarea codului pentru sarcini obișnuite;
- extragerea de informații din documentele primite în context.
Punctele slabe
- informații de nișă sau foarte recente, pentru care a avut puține exemple;
- calcule lungi și numărători exacte, dacă nu folosește un instrument separat;
- citarea surselor: poate produce trimiteri care arată credibil, dar nu există;
- situațiile ambigue, în care completează golurile cu presupuneri.
Ultimele puncte duc la fenomenul numit halucinație, explicat pe larg în Halucinațiile AI: de ce inventează uneori modelele. Cele mai multe probleme pot fi reduse printr-o cerere bine formulată, cu context și format clar, după metoda din ghidul despre prompturi.
Sfat: Când ai nevoie de un fapt verificabil, cere modelului să indice de unde provine informația și deschide tu sursa. Când ai nevoie de idei sau de o formulare, lasă-l să lucreze liber.
Confidențialitatea conversațiilor
Tot ce scrii ajunge pe serverele furnizorului, unde poate fi stocat și, în funcție de setări, folosit la îmbunătățirea modelelor. Nu introduce parole, date bancare, date medicale sau documente confidențiale. Regulile generale de protecție a conturilor și a datelor sunt adunate în Securitatea online: ghid complet pentru utilizatori obișnuiți.
Pe scurt: cum funcționează un LLM
Un model de limbaj mare transformă textul în tokeni, îi analizează cu ajutorul mecanismului de atenție și prezice, unul câte unul, tokenii următori. Cunoștințele lui provin din preantrenarea pe volume uriașe de text, iar comportamentul de asistent vine din reglarea cu exemple și preferințe umane. Este un instrument foarte bun pentru lucrul cu limbajul, dar nu o sursă de adevăr verificat. Locul lui în ansamblul tehnologiilor de AI este explicat în Inteligența artificială explicată: ghid complet pe înțeles.
De reținut:
- modelul generează text prin predicția repetată a tokenului următor;
- preantrenarea dă limba și cunoștințele, reglarea dă comportamentul de asistent;
- fereastra de context limitează cât text poate lua în calcul simultan;
- temperatura explică de ce răspunsurile variază;
- faptele importante se verifică la surse independente.
Întrebări frecvente
Modelul de limbaj caută răspunsurile pe internet?
Nu, în mod implicit. Modelul își compune răspunsul din ce a învățat la antrenare; doar unele aplicații adaugă o etapă de căutare și pun rezultatele în contextul conversației.
Ce este un token?
Un token este un fragment de text, cum ar fi un cuvânt scurt, o parte de cuvânt sau un semn de punctuație. Modelele citesc și scriu text exclusiv sub formă de tokeni.
De ce primesc răspunsuri diferite la aceeași întrebare?
Pentru că modelul alege fiecare token cu o doză de aleatoriu, controlată de setarea numită temperatură. Variația este intenționată și face textul mai natural.
Învață modelul din conversațiile mele?
Nu în timpul conversației. Ponderile modelului nu se schimbă când vorbești cu el, dar furnizorul poate folosi ulterior conversațiile la antrenare, dacă setările contului permit acest lucru.
Ce înseamnă că un model are miliarde de parametri?
Înseamnă că rețeaua lui conține miliarde de numere ajustate la antrenare. Mai mulți parametri permit, în general, învățarea unor tipare mai fine, dar cer și mai multă putere de calcul.
