Cuprins 6 secțiuni
Fereastra de context este spațiul de lucru al unui model de limbaj: tot textul pe care îl poate avea în față în același moment, adică întrebarea ta, conversația de până atunci, documentele atașate și instrucțiunile ascunse ale aplicației. Ce încape în fereastră, modelul poate folosi. Ce nu încape, pentru el practic nu există.
Dacă ți s-a întâmplat ca un asistent să uite o regulă dată la începutul conversației sau să se contrazică după câteva zeci de mesaje, ai întâlnit limita aceasta. Mai jos înțelegi de ce există, ce se întâmplă când se umple și cum lucrezi cu ea. Pentru fundamentul tehnic al modelelor merită citit mai întâi Modelele de limbaj mari (LLM): cum generează text.
Ce este, exact, fereastra de context?
Fereastra de context este numărul maxim de tokeni pe care modelul îi poate procesa deodată, incluzând atât ce primește, cât și ce generează. Tokenul este o bucată de text, uneori un cuvânt întreg, alteori o silabă sau un semn de punctuație; detalii în Tokenii în AI: cum citește un model textul.
Imaginează-ți o masă de birou. Poți lucra cu orice documente care încap pe ea, dar nu poți ține pe masă tot arhiva. Dacă mai pui un dosar, unul vechi trebuie dat jos. Modelul se comportă la fel: nu are un sertar secret în care să păstreze conversația integral, ci doar suprafața mesei.
Mărimea ferestrei diferă de la un model la altul și crește în timp, dar principiul rămâne identic. Fereastra mai mare permite documente mai lungi, însă nu garantează că modelul va folosi la fel de bine fiecare parte din ele.
Ce se întâmplă când fereastra se umple?
Când limita este atinsă, aplicația alege dintre câteva strategii, iar tu rareori vezi care anume a fost aplicată. Cele mai întâlnite sunt:
- Tăierea începutului: mesajele cele mai vechi sunt scoase, iar modelul pierde instrucțiunile inițiale.
- Rezumarea: partea veche a conversației este comprimată într-un rezumat, cu riscul ca detaliile fine să dispară.
- Refuzul: aplicația spune că textul este prea lung și îți cere să-l scurtezi.
- Selecția: doar fragmentele considerate relevante pentru întrebarea curentă sunt păstrate.
Semnele că ai depășit limita sunt ușor de recunoscut: asistentul ignoră o constrângere pe care ai dat-o (de exemplu formatul răspunsului), repetă lucruri deja lămurite sau confundă numele și cifrele menționate mai devreme.
De ce nu poate fereastra să fie pur și simplu infinită?
Pentru că un model compară fiecare token cu toți ceilalți din fereastră, iar acest calcul crește rapid odată cu lungimea textului. Mecanismul se numește atenție (attention): modelul stabilește care părți ale textului sunt relevante unele pentru altele. Dublarea textului nu dublează munca, ci o crește mult mai abrupt.
De aici decurg costuri reale: mai multă memorie de calcul, răspuns mai lent și facturi mai mari pentru furnizor. Mare parte din această muncă are loc în centre de date cu echipamente specializate, iar resursele consumate sunt o limită practică pentru ferestre foarte mari.
Există și o limită de calitate. În texte foarte lungi, modelele tind să folosească mai bine informația de la început și de la sfârșit decât pe cea din mijloc. Un detaliu important îngropat la mijlocul unui document de sute de pagini poate fi tratat superficial, chiar dacă tehnic încape în fereastră.
Contextul este același lucru cu memoria?
Nu: contextul este memorie de lucru, valabilă doar în conversația curentă, iar memoria de lungă durată este o funcție separată, oferită doar de unele aplicații. Modelul în sine nu își modifică cunoștințele din conversațiile cu tine. Ceea ce pare memorie este, de fapt, text salvat de aplicație și adăugat din nou în fereastră la fiecare mesaj.
| Aspect | Fereastra de context | Memorie persistentă a aplicației |
|---|---|---|
| Durată | doar conversația curentă | între conversații, dacă e activată |
| Cine o gestionează | modelul, prin limita de tokeni | aplicația, prin note salvate |
| Cum o controlezi | scurtând sau rezumând textul | din setările aplicației |
| Risc | uitarea începutului | stocarea unor date personale |
Al doilea rând al tabelului ridică și o întrebare de confidențialitate: dacă aplicația păstrează notițe despre tine, e bine să știi ce conțin. Despre locurile în care ajung și rămân datele tale vezi articolul despre stocarea în cloud.
Cum lucrezi eficient cu o conversație lungă?
Cele mai bune rezultate vin din a-i ușura modelului munca, nu din a te baza pe fereastra cât mai mare. Câteva obiceiuri funcționează în aproape orice aplicație:
- Începe o conversație nouă când schimbi subiectul. Un context curat dă răspunsuri mai bune decât unul încărcat cu lucruri irelevante.
- Pune regulile importante la început și repetă-le când conversația s-a lungit.
- Cere un rezumat al deciziilor luate, apoi folosește-l ca început pentru conversația următoare.
- Trimite doar fragmentele relevante din documente, nu întregul fișier, dacă ai nevoie de un singur capitol.
- Verifică numerele și numele din finalul unui răspuns lung față de ce ai dat tu la început.
Sfat: dacă un asistent începe să se contrazică, nu insista în același fir. Cere-i un rezumat al cerințelor și începe o conversație nouă pornind de la el.
Aceeași logică se aplică formulării cererilor; regulile despre mesaje clare sunt în Prompturile: cum formulezi cereri clare pentru un asistent AI. Iar pentru situațiile în care ai de lucrat cu o cantitate de documente mult mai mare decât încape într-o fereastră, există tehnica descrisă în RAG explicat: AI care consultă documentele tale.
Întrebări frecvente
Ce înseamnă fereastra de context?
Este cantitatea maximă de text, măsurată în tokeni, pe care un model o poate lua în calcul într-un singur răspuns. Include întrebarea, istoricul conversației, documentele atașate și răspunsul.
De ce uită asistentul AI ce i-am spus la început?
Pentru că textul vechi a fost scos din fereastră sau rezumat, ori pentru că modelul îi acordă mai puțină atenție în mijlocul unui text foarte lung. Repetarea regulilor importante ajută.
O fereastră mai mare înseamnă răspunsuri mai bune?
Nu neapărat. Permite texte mai lungi, dar calitatea depinde și de cât de bine folosește modelul informația din interior. Uneori un context scurt și curat dă un rezultat mai bun.
Își amintește modelul conversațiile anterioare?
Modelul în sine nu. Dacă aplicația are o funcție de memorie, ea salvează note și le adaugă în fereastră, ceea ce creează impresia de continuitate.
Cum știu cât text încape?
Aplicațiile arată rar limita exact. Ca reper, un text de câteva pagini încape aproape sigur, iar problemele apar la documente foarte lungi sau la conversații cu sute de mesaje.
