Cuprins 7 secțiuni
Tokenii sunt unitățile în care un model de limbaj împarte orice text înainte să-l prelucreze. Un asistent AI nu citește litere și nici cuvinte așa cum o faci tu; primește un șir de bucăți, fiecare asociată cu un număr, și lucrează doar cu acele numere. Înțelegerea tokenilor explică multe lucruri care, altfel, par bizare: de ce un asistent numără greu literele dintr-un cuvânt, de ce are limite de lungime și de ce unele limbi sunt mai „scumpe” decât altele.
Articolul detaliază ce este un token, cum se decide unde se taie textul și ce urmări practice are. Mecanismul general de generare a răspunsurilor îl găsești în Modelele de limbaj mari (LLM): cum generează text, iar aici îl completezi cu partea de la început a procesului.
Ce este un token?
Un token este o secvență de caractere frecventă, tratată de model ca o singură unitate. Poate fi un cuvânt scurt întreg („casă”), o parte dintr-un cuvânt lung („inteligen” + „ță”), un spațiu urmat de câteva litere sau un semn de punctuație.
Nu există o regulă fixă universală: fiecare familie de modele are propriul vocabular de tokeni, stabilit înaintea antrenării. Vocabularul conține, de obicei, zeci de mii de intrări, iar fiecare are un număr de identificare. Textul tău este transformat într-o listă de astfel de numere, iar răspunsul modelului este generat tot ca listă de numere, convertită apoi înapoi în text.
Un reper orientativ, valabil pentru limba engleză: un token înseamnă aproximativ trei sferturi dintr-un cuvânt. Pentru română, raportul este mai defavorabil, motiv pentru care același sens ocupă de obicei mai mulți tokeni.
Cum se decide unde se taie textul?
Tăierea se face cu un algoritm de tokenizare, care pornește de la litere și unește progresiv perechile cele mai frecvente până ajunge la un vocabular de mărimea dorită. Metoda, în variantele ei uzuale, se numește byte-pair encoding (codare prin perechi de octeți).
Procesul, simplificat, arată astfel:
- Se pornește de la caractere individuale.
- Se numără ce perechi apar cel mai des într-o colecție uriașă de texte.
- Cea mai frecventă pereche devine un token nou.
- Se repetă până când vocabularul atinge dimensiunea fixată.
Rezultatul este că secvențele foarte comune, de pildă „și” sau „-ul”, ajung să fie un singur token, iar cuvintele rare sunt sparte în fragmente. Un nume propriu neobișnuit sau un termen tehnic poate însemna cinci-șase tokeni.
De ce consumă româna mai mulți tokeni?
Româna consumă mai mulți tokeni deoarece vocabularele sunt construite predominant din text în engleză, deci secvențele frecvente din română sunt mai puțin „comprimate”. Diacriticele ă, â, î, ș, ț se pot transforma în combinații de octeți mai lungi, iar cuvintele cu terminații flexionare bogate se sparg în mai multe bucăți.
| Aspect | Engleză | Română |
|---|---|---|
| Tokeni per cuvânt, în medie | mai puțini | mai mulți |
| Efect asupra costului | mai mic | mai mare, pentru același sens |
| Efect asupra ferestrei de context | încape mai mult text | încape mai puțin text |
| Efect asupra vitezei | generare mai rapidă | generare puțin mai lentă |
Diferența variază de la un model la altul, iar modelele noi tind să o reducă prin vocabulare mai echilibrate între limbi. Dar ea explică de ce o cerere în română poate atinge limita de lungime mai devreme decât una echivalentă în engleză.
Ce consecințe practice are asta?
Tokenii influențează trei lucruri pe care le simți direct ca utilizator: limitele, costurile și anumite greșeli ciudate.
Limitele de lungime
Toate limitele unui asistent se exprimă în tokeni: cât text poți trimite, cât poate răspunde, cât ține din conversație. Aceasta este baza noțiunii de fereastră de context. Dacă întâmpini mesajul „textul este prea lung”, cauza este numărul de tokeni, nu cel de pagini.
Costurile
Serviciile care oferă acces prin API își calculează prețul pe tokeni, atât pentru ce trimiți, cât și pentru ce primești. Despre cum comunică aplicațiile prin astfel de interfețe vezi API-urile: cum comunică aplicațiile între ele. Un prompt scris concis consumă mai puțin decât unul plin de explicații repetate.
Greșelile ciudate
Pentru că modelul vede bucăți, nu litere, sarcinile de tip „câte litere de r are cuvântul” sau „scrie cuvântul de la coadă la cap” pot ieși greșit. Cuvântul nu este un șir de caractere în mintea modelului, ci unul sau câțiva tokeni, iar structura internă a literelor este mai greu accesibilă. Același mecanism explică de ce modelele greșesc mai des pe numere lungi, scrise ca fragmente irelevante din punct de vedere matematic.
Atenție: dacă ai nevoie de un calcul exact sau de o numărare precisă, verifică rezultatul separat. Un model de limbaj estimează textul probabil, nu execută operația ca un calculator.
Cum scrii cereri mai economice?
Nu trebuie să numeri tokeni, dar câteva obiceiuri reduc consumul fără să strice rezultatul:
- scrie cererea direct, fără formule lungi de politețe;
- dă contextul o singură dată și evită repetarea acelorași instrucțiuni în fiecare mesaj;
- trimite doar fragmentul relevant dintr-un document;
- cere răspunsuri în formatul de care ai nevoie (listă scurtă, tabel, trei propoziții), ca modelul să nu producă text în plus.
Formularea clară ajută și la calitate, nu doar la economie; principiile sunt în Prompturile: cum formulezi cereri clare pentru un asistent AI. Dacă vrei să înțelegi cum se leagă tokenii de comprimarea informației, o paralelă utilă este compresia datelor, unde frecvența secvențelor decide și ea cât spațiu ocupă ceva.
Ce nu sunt tokenii?
Tokenii nu sunt unități de sens. Un token poate fi o jumătate de cuvânt fără nicio semnificație proprie, iar modelul nu „înțelege” bucata, ci modul ei de apariție alături de alte bucăți. Sensul se formează în straturile modelului, în timp ce tokenizarea este un pas tehnic de pregătire. De asemenea, tokenii nu coincid cu pagini sau cu caractere, deci nu poți converti exact între ele fără un contor al modelului respectiv.
Pe aceeași temă, citește și Agenții AI: ce sunt și ce pot face singuri.
Pe aceeași temă, citește și Vederea artificială: cum recunoaște AI imaginile.
Întrebări frecvente
Ce este un token în inteligența artificială?
Este o bucată de text, un cuvânt, o parte de cuvânt sau un semn, folosită ca unitate de bază de un model de limbaj. Fiecare token are un număr de identificare în vocabularul modelului.
Câți tokeni are un cuvânt?
Depinde de cuvânt și de model. Cuvintele scurte și frecvente sunt de obicei un singur token, iar cele lungi sau rare se sparg în mai multe.
De ce se măsoară limitele AI în tokeni și nu în cuvinte?
Pentru că tokenii sunt unitățile reale pe care le procesează modelul. Numărul de cuvinte nu spune exact cât calcul presupune un text.
De ce greșește un asistent când numără litere?
Pentru că nu vede literele individuale, ci tokeni. Informația despre structura internă a unui cuvânt este mai greu de obținut din aceste bucăți.
Consumă diacriticele mai mulți tokeni?
De multe ori da, mai ales la modelele construite în principal pe text în engleză. Diferența este mai mică la modelele cu vocabular mai echilibrat între limbi.
