Sari la conținut

Embeddings-urile: cum își dă seama AI că două cuvinte au sens apropiat

Embeddings-urile transformă cuvintele în liste de numere care păstrează sensul. Vezi cum compară AI aceste numere și cum permit căutarea după înțeles.

  • temăAI pe înțeles
  • publicat
  • autorEchipa LumeaTehnologiei
  • lectură4 min de citit
Puncte luminoase răspândite pe un fundal întunecat, unele grupate aproape unele de altele ca într-o constelație
// cuprins7 secțiuni

Embeddings-urile sunt reprezentări numerice ale cuvintelor, frazelor sau imaginilor, construite astfel încât lucrurile cu sens apropiat să primească numere apropiate. Așa „își dă seama” un sistem AI că „mașină” și „automobil” se leagă între ele, deși literele sunt diferite, și de aceea pot funcționa căutările după înțeles.

Ce sunt embeddings-urile?

Un embedding este o listă de numere, numită vector, care descrie sensul unui fragment de text. Calculatoarele nu lucrează direct cu sensul cuvintelor, ci cu numere, așa că textul trebuie tradus într-o formă matematică. Un cuvânt oarecare devine o listă de sute sau mii de valori.

Poți privi vectorul ca pe niște coordonate pe o hartă imensă a sensurilor. Pe o hartă obișnuită, două orașe apropiate au coordonate apropiate. Pe harta embeddings-urilor, două expresii cu înțeles similar se așază aproape una de alta, iar cele fără legătură ajung departe.

Cum învață AI aceste numere?

Modelul învață vectorii din cantități mari de text, observând ce cuvinte apar în același context. Ideea de bază este că sensul unui cuvânt se vede din vecinii lui: „cafea” apare des lângă „ceașcă”, „fierbinte”, „dimineață”. Prin antrenare, modelul ajustează numerele astfel încât cuvintele folosite în contexte similare să capete vectori similari.

Înainte de acest pas, textul este împărțit în bucăți mici, procedeu descris în materialul despre tokenii în AI. Apoi fiecare bucată sau întregul fragment este transformat într-un vector. Același principiu se aplică și imaginilor, iar domeniul este prezentat în articolul despre vederea artificială.

Cum se măsoară apropierea dintre două sensuri?

Apropierea se măsoară matematic, comparând vectorii între ei. Cea mai folosită metodă este similaritatea cosinus, care arată cât de mult „arată în aceeași direcție” doi vectori. Rezultatul este un scor: cu cât scorul este mai mare, cu atât sensurile sunt mai apropiate.

Exemplu simplu: vectorii pentru „doctor” și „medic” vor avea un scor mare de similaritate, pe când cei pentru „doctor” și „bicicletă” vor avea unul mic. Calculul este rapid și poate fi repetat pentru mii de fragmente.

La ce folosesc embeddings-urile în căutarea semantică?

Căutarea semantică folosește embeddings-urile pentru a găsi texte după înțeles, nu doar după cuvintele exacte. Dacă tastezi „cum repar o conexiune lentă la internet”, sistemul poate găsi un articol intitulat „remedii pentru viteză mică a rețelei”, chiar dacă nu împart aproape niciun cuvânt.

Procesul are, în linii mari, patru pași:

  1. Documentele sunt transformate în vectori și păstrate într-o bază de date.
  2. Întrebarea ta este transformată în vector cu același model.
  3. Sistemul caută vectorii cei mai apropiați de cel al întrebării.
  4. Rezultatele cele mai apropiate sunt afișate sau trimise mai departe unui asistent AI.

Embeddings-urile mai sunt folosite la recomandări (articole sau produse asemănătoare), la gruparea documentelor pe teme și la găsirea textelor duplicate. Ele stau și la baza multor sisteme în care un asistent consultă documentele proprii ale unei firme.

Ce limite au embeddings-urile?

Embeddings-urile surprind sensul aproximativ, nu cel exact, deci pot greși. Cuvintele cu mai multe înțelesuri pot fi confundate, negațiile sunt uneori tratate slab („funcționează” și „nu funcționează” pot ieși apropiate), iar termenii foarte specializați sau nume proprii rare sunt reprezentate mai puțin fidel.

Calitatea depinde și de datele pe care a fost antrenat modelul de embeddings. Dacă un domeniu e slab acoperit, vectorii pentru termenii lui vor fi mai puțin utili. În plus, vectorii păstrează și prejudecățile din texte, aspect discutat mai pe larg în secțiunea AI pe înțeles.

Din aceste motive, căutarea semantică se combină des cu căutarea clasică după cuvinte-cheie, iar rezultatele importante merită verificate de un om.

Pe scurt

  • Embeddings-urile transformă textul în vectori, adică liste de numere.
  • Sensurile apropiate primesc vectori apropiați, măsurați printr-un scor de similaritate.
  • Căutarea semantică găsește texte după înțeles, nu după cuvinte identice.
  • Limitele includ ambiguitățile, negațiile și termenii rari.

Întrebări frecvente

Un embedding este același lucru cu un token?

Nu. Tokenul este bucata de text în care este împărțit un fragment, iar embeddingul este lista de numere care reprezintă sensul acelei bucăți sau al unui text întreg.

Pot fi embeddings-urile transformate înapoi în text?

Nu direct și nu perfect. Vectorul păstrează sensul general, nu textul exact, dar unele informații pot fi deduse parțial, așa că datele sensibile trebuie tratate cu grijă.

De ce se folosesc sute de numere pentru un singur cuvânt?

Pentru că sensul are multe dimensiuni: temă, ton, rol gramatical și altele. Mai multe numere permit modelului să surprindă mai multe nuanțe.

// trimite mai departe
// inteligenta-artificiala

Continuă pe aceeași orbită

Toată tema AI pe înțeles