Inferența în AI: ce se întâmplă când un model îți răspunde la întrebare
Inferența este momentul în care un model deja antrenat îți răspunde. Vezi cum diferă de antrenare și de ce fiecare răspuns consumă resurse de calcul.
// cuprins7 secțiuni
Inferența în AI este etapa în care un model deja antrenat primește o cerere și produce un răspuns, fără să mai învețe nimic nou din ea. Spre deosebire de antrenare, care construiește modelul, inferența îl folosește, dar cere totuși multă putere de calcul, pentru că fiecare răspuns se calculează de la zero.
Ce este inferența și cum diferă de antrenare?
Antrenarea este faza de învățare, iar inferența este faza de utilizare. În timpul antrenării, modelul vede cantități uriașe de exemple și își ajustează treptat numeroși parametri interni, până când ajunge să se descurce bine. Procesul se face o singură dată (sau rar), în centre specializate, și poate dura multă vreme.
După ce antrenarea s-a încheiat, parametrii rămân înghețați. Când scrii o întrebare unui asistent, modelul nu își modifică ce a învățat, ci doar aplică ce știe. Mai multe despre sursa acestor cunoștințe găsești în articolul despre reglajul fin al modelelor, unde se vede cum poate fi ajustat un model deja existent.
Ce se întâmplă pas cu pas când întrebi un model?
Răspunsul apare printr-un lanț de calcule repetate, nu dintr-o căutare într-o bază de răspunsuri gata scrise. Pe scurt, lucrurile se petrec așa:
- Textul tău este împărțit în bucăți mici, numite tokeni, așa cum se explică în materialul despre tokenii în AI.
- Fiecare token este transformat în numere și trece prin straturile rețelei neuronale.
- Modelul calculează probabilitățile pentru următorul token posibil și alege unul.
- Tokenul ales este adăugat la text, iar procesul se repetă pentru următorul, până când răspunsul este complet.
De aceea răspunsurile apar uneori „pe bucăți”, cuvânt cu cuvânt: modelul produce textul pe rând, nu dintr-odată.
De ce consumă inferența resurse?
Inferența consumă resurse pentru că fiecare token generat cere o trecere prin întreaga rețea, iar rețelele mari au un număr foarte mare de parametri. Calculele se fac de obicei pe procesoare grafice sau pe alte cipuri specializate, care lucrează cu multe operații în paralel.
Consumul depinde de mai mulți factori:
- Dimensiunea modelului: un model cu mai mulți parametri cere mai multă memorie și mai mult calcul.
- Lungimea cererii și a răspunsului: mai mulți tokeni înseamnă mai multe treceri prin rețea.
- Numărul de utilizatori simultani: sute sau mii de cereri în același timp trebuie servite fără întârzieri vizibile.
- Viteza așteptată: un răspuns rapid cere hardware mai puternic sau mai bine organizat.
Pentru că cererea poate crește brusc, furnizorii se bazează pe infrastructura din cloud. Principiile din articolul despre scalarea în cloud explică de ce se adaugă servere atunci când numărul de utilizatori crește.
Poate inferența să fie mai ieftină sau mai rapidă?
Da, există tehnici prin care inferența cere mai puține resurse, dar fiecare vine cu un compromis. Modelele pot fi comprimate prin reducerea preciziei numerelor, pot fi micșorate pentru sarcini simple sau pot reutiliza calcule făcute deja pentru aceeași conversație. Unele cereri sunt grupate împreună, ca hardware-ul să fie folosit mai eficient.
Compromisul tipic este între viteză, cost și calitate. Un model mai mic răspunde mai repede și consumă mai puțin, dar poate greși mai des la întrebări dificile. Alegerea depinde de ce ai nevoie: pentru o clasificare simplă ajunge adesea un model mic, pentru o analiză complexă merită unul mai mare.
Unde se întâmplă inferența: la distanță sau pe dispozitivul tău?
Cei mai mulți asistenți populari rulează inferența pe servere la distanță, iar telefonul sau laptopul tău doar trimite textul și afișează răspunsul. Există însă și modele suficient de mici pentru a rula local, pe dispozitivul personal. Varianta locală oferă mai mult control asupra datelor, dar limitează dimensiunea modelului la ce permite hardware-ul disponibil.
Pe scurt
- Antrenarea construiește modelul, inferența îl folosește pentru a răspunde.
- Răspunsul se generează token cu token, printr-un lanț de calcule.
- Costul inferenței crește cu dimensiunea modelului, cu lungimea textului și cu numărul de utilizatori.
- Tehnicile de optimizare reduc resursele, dar implică un compromis cu calitatea.
Dacă vrei o imagine de ansamblu asupra domeniului, poți continua cu celelalte materiale din secțiunea AI pe înțeles.
Întrebări frecvente
Învață modelul din întrebările mele în timpul inferenței?
În mod obișnuit, nu. Parametrii modelului rămân neschimbați la inferență. Unii furnizori pot folosi conversațiile pentru îmbunătățiri ulterioare, conform politicii lor, dar asta ține de o etapă separată.
De ce se vede răspunsul apărând cuvânt cu cuvânt?
Pentru că modelul generează un token pe rând și îl trimite imediat către ecran. Astfel începi să citești înainte ca răspunsul întreg să fie gata.
E inferența mai costisitoare decât antrenarea?
Per cerere, inferența este mult mai ieftină. Însă, pentru un serviciu folosit de foarte mulți oameni, costul total al inferenței se adună și poate depăși costul antrenării.
