Temperatura unui model AI: de ce același prompt dă răspunsuri diferite

Temperatura modelului AI este un parametru care controlează cât de îndrăzneț alege modelul următorul cuvânt: la valori mici răspunsurile sunt previzibile și aproape identice, la valori mari devin mai variate și mai surprinzătoare. De aceea același prompt poate primi răspunsuri diferite la fiecare încercare, fără ca ceva să fie stricat.

Ce este temperatura într-un model AI?

Temperatura este un număr de reglaj care schimbă modul în care un model alege dintre mai multe continuări posibile ale textului. Un model de limbaj nu „știe” un singur răspuns corect. La fiecare pas calculează o listă de cuvinte (de fapt, fragmente numite tokeni) posibile, fiecare cu o probabilitate. Despre felul în care funcționează textul generat poți citi în articolul despre modelele de limbaj mari.

Temperatura decide cât de mult contează probabilitățile. Cu o temperatură mică, modelul alege aproape mereu opțiunea cea mai probabilă. Cu una mare, opțiunile mai puțin probabile primesc și ele o șansă reală de a fi alese.

De ce același prompt dă răspunsuri diferite?

Răspunsurile diferă pentru că alegerea fiecărui cuvânt include un element de tragere la sorți, influențat de temperatură. Imaginează-ți o roată cu felii inegale: opțiunea cea mai probabilă are felia cea mai mare, dar nu e singura. Roata se învârte din nou la fiecare cuvânt, iar o mică abatere de la început poate duce propoziția pe un alt drum.

Din acest motiv, două rulări ale aceluiași prompt pot începe la fel și apoi se despart. Diferențele nu înseamnă că modelul „s-a răzgândit”, ci că a urmat trasee diferite prin aceleași probabilități. Dacă vrei să înțelegi cum apar aceste alegeri, ajută și ideea de învățare automată: modelul a învățat tipare, nu răspunsuri fixe.

Ce efect au temperaturile mici și mari?

Temperatura mică oferă consecvență, iar cea mare oferă varietate. Tabelul de mai jos rezumă diferențele orientative; limitele exacte depind de fiecare aplicație.

O temperatură prea mare poate produce fraze incoerente sau afirmații inventate, pentru că modelul alege des cuvinte improbabile. O temperatură prea mică poate da texte repetitive și plate.

Ce alți parametri influențează variația?

Temperatura nu este singurul buton de reglaj. Mai există câțiva parametri de generare care lucrează împreună cu ea:

• Top-p: restrânge alegerea la cele mai probabile opțiuni, până când probabilitatea lor adunată atinge un prag.
• Top-k: permite alegerea doar dintre primele k opțiuni.
• Lungimea maximă: limitează cât de lung poate fi răspunsul, măsurat în tokeni.
• Valoarea de pornire (seed): dacă aplicația o permite, fixează tragerea la sorți și face rezultatele mai ușor de reprodus.

Cei mai mulți utilizatori ai unui asistent obișnuit nu pot modifica acești parametri, pentru că aplicația îi alege în locul lor. Ei apar în special în instrumentele pentru dezvoltatori.

Cum obții răspunsuri mai stabile sau mai creative?

Dacă aplicația îți permite, coboară temperatura pentru sarcini precise și mărește-o pentru brainstorming. Găsești și alte explicații de acest fel în secțiunea AI pe înțeles. Dacă nu o poți schimba, poți influența rezultatul prin felul în care scrii cererea.

1. Cere un format clar (de exemplu, o listă de trei puncte) pentru a reduce variația.
2. Dă exemple de răspuns dorit, ca modelul să urmeze un tipar.
3. Pentru idei noi, cere explicit mai multe variante și compară-le.
4. Verifică separat orice informație importantă, indiferent de setare.

Temperatura mică nu garantează corectitudinea: un model poate repeta constant aceeași greșeală. Ea reduce doar variația, nu eroarea.

Pe scurt

• Temperatura controlează cât de variat alege modelul următorul cuvânt.
• Valorile mici dau răspunsuri stabile, cele mari dau răspunsuri creative, dar mai riscante.
• Răspunsurile diferă între rulări din cauza alegerii probabilistice a fiecărui cuvânt.
• Top-p, top-k și seed-ul completează reglajul.
• Informațiile importante se verifică oricum, la orice temperatură.