Big data: ce înseamnă și cum se analizează volumele mari

Big data înseamnă volume de date atât de mari, care sosesc atât de repede sau sunt atât de variate încât nu mai pot fi stocate și analizate cu un singur calculator și cu instrumentele obișnuite, cum ar fi o foaie de calcul. Termenul nu descrie o cantitate fixă, ci momentul în care metodele clasice nu mai fac față și ai nevoie de stocare și procesare distribuite pe multe servere.

Fiecare plată cu cardul, fiecare deplasare înregistrată de o aplicație de navigație, fiecare citire a unui contor inteligent sau a unui senzor meteo produce date. Luate separat, ele spun puțin. Adunate în miliarde de înregistrări și analizate corect, pot arăta unde se formează ambuteiajele, când crește consumul de energie sau ce tranzacții par frauduloase. Mai jos afli cum se ajunge de la date brute la răspunsuri utile și unde sunt capcanele.

Cele cinci V: cum recunoști big data

Big data se descrie de obicei prin câteva caracteristici care încep, în engleză, cu litera V. La început erau trei, apoi lista s-a extins la cinci, iar împreună explică de ce aceste date cer metode speciale.

Ultima caracteristică este cea mai importantă și cel mai des uitată: datele multe nu au valoare în sine. Fără o întrebare clară și fără date de calitate, un proiect de big data produce doar costuri de stocare.

Date structurate, semistructurate și nestructurate

• Structurate: au formă fixă, ca rândurile unui tabel dintr-o bază de date.
• Semistructurate: au o organizare, dar flexibilă, cum sunt fișierele JSON sau jurnalele de evenimente.
• Nestructurate: texte libere, imagini, înregistrări audio și video, care trebuie mai întâi prelucrate ca să poată fi analizate.

De unde vin datele mari

Big data provine din activitatea digitală obișnuită, din senzori și din sistemele interne ale firmelor și instituțiilor, care înregistrează automat aproape orice eveniment. Sursele principale se pot grupa în câteva familii.

1. Tranzacții: plăți, comenzi, facturi, bilete vândute.
2. Activitatea online: pagini vizitate, căutări, clicuri, timp petrecut pe o pagină.
3. Senzori și dispozitive conectate: contoare, stații meteo, echipamente industriale, vehicule.
4. Jurnale tehnice: evenimente înregistrate de servere, aplicații și rețele.
5. Conținut generat de utilizatori: texte, fotografii, recenzii, mesaje publice.
6. Date publice: statistici oficiale, date deschise ale administrației, imagini din satelit.

În România, o sursă importantă de date publice agregate este Institutul Național de Statistică (INS), iar portalul național de date deschise al administrației pune la dispoziție seturi de date pe care oricine le poate analiza.

Important: Nu tot ce poate fi colectat are voie să fie colectat. Datele care identifică persoane intră sub incidența GDPR, iar colectarea lor are nevoie de un temei legal, de un scop clar și de limitare la strictul necesar.

Cum se stochează volumele mari de date

Datele mari se stochează distribuit, adică împărțite în bucăți răspândite pe multe servere, fiecare bucată fiind copiată de mai multe ori ca să nu se piardă dacă un disc se defectează. Nu există un singur disc suficient de mare și nici suficient de rapid pentru astfel de volume.

Data warehouse și data lake

Două concepte apar mereu în acest context:

• Depozitul de date (data warehouse) strânge date curățate și structurate din mai multe sisteme, organizate pentru rapoarte și analize. Datele sunt aduse la o formă comună înainte de a fi încărcate.
• Lacul de date (data lake) păstrează datele în forma lor brută, în orice format, la costuri mai mici. Structura se stabilește abia când datele sunt citite pentru o analiză anume.

Varianta combinată, numită uneori lakehouse, încearcă să ofere costul redus al lacului de date și ordinea depozitului. Pentru firmele mici, toate aceste concepte se traduc de obicei în servicii închiriate de la furnizori de cloud, explicate în ghidul despre cloud computing.

Sfat: Un lac de date fără documentație devine repede o „mlaștină de date”: nimeni nu mai știe ce conține fiecare fișier, de unde vine și dacă mai este valabil. Notează pentru fiecare set de date sursa, data și responsabilul.

Cum se procesează: munca împărțită pe multe calculatoare

Principiul de bază al procesării big data este împarte și cucerește: o sarcină mare este tăiată în bucăți mici, fiecare bucată este procesată în paralel pe alt server, iar rezultatele parțiale sunt apoi combinate. În loc să muți datele la program, muți programul la date, pe serverele unde ele stau deja.

Un exemplu pe înțeles

Să zicem că vrei să afli de câte ori apare fiecare cuvânt într-o arhivă uriașă de texte. Un singur calculator ar citi totul ore sau zile. Distribuit, procesul arată așa:

1. Arhiva este împărțită în sute de bucăți, pe servere diferite.
2. Fiecare server numără cuvintele din bucata lui (etapa numită map).
3. Rezultatele parțiale sunt grupate după cuvânt.
4. Pentru fiecare cuvânt, contoarele parțiale se adună (etapa numită reduce).
5. Rezultatul final este lista completă, obținută într-o fracțiune din timpul inițial.

Acest tipar, cunoscut ca MapReduce, a stat la baza primelor sisteme de big data. Instrumentele mai noi păstrează ideea, dar lucrează mai mult în memorie și sunt mult mai rapide.

Procesare în loturi și procesare în flux

Procesarea în flux are nevoie de răspunsuri în timp aproape real, motiv pentru care o parte din calcul se mută uneori lângă sursa datelor, idee explicată în Edge computing: procesarea datelor aproape de utilizator.

Tipurile de analiză: de la ce s-a întâmplat la ce ar trebui făcut

Analiza datelor are patru niveluri de ambiție, de la simpla descriere a trecutului până la recomandări de acțiune. Cu fiecare nivel cresc atât valoarea potențială, cât și riscul de greșeală.

• Analiza descriptivă răspunde la întrebarea „ce s-a întâmplat?”: vânzări pe lună, numărul de vizitatori, consumul mediu.
• Analiza diagnostică răspunde la „de ce s-a întâmplat?”: compară perioade, segmente și caută factorii asociați unei schimbări.
• Analiza predictivă răspunde la „ce se va întâmpla probabil?”: estimează cererea, riscul de defectare a unui echipament sau probabilitatea ca o tranzacție să fie frauduloasă.
• Analiza prescriptivă răspunde la „ce ar trebui să facem?”: propune acțiuni, de exemplu rutele optime de livrare.

Analizele predictive și prescriptive folosesc frecvent învățarea automată, adică algoritmi care descoperă singuri tipare în date. Cum funcționează aceștia afli în ghidul despre învățarea automată. Big data și inteligența artificială se susțin reciproc: modelele au nevoie de date multe pentru a învăța, iar datele multe au nevoie de modele pentru a fi înțelese.

Exemple concrete de folosire

• Transport: datele anonime de deplasare arată orele și locurile aglomerate și ajută la planificarea semafoarelor sau a transportului public.
• Energie: contoarele inteligente permit rețelelor să anticipeze vârfurile de consum.
• Sănătate publică: datele agregate pot evidenția tendințe în răspândirea unor boli sezoniere.
• Agricultură: imaginile din satelit și senzorii din sol ajută la decizii privind irigarea.
• Comerț: analiza coșurilor de cumpărături arată ce produse se cumpără împreună; aceleași tehnici stau la baza algoritmilor de recomandare.
• Securitate bancară: tiparele neobișnuite de cheltuieli sunt semnalate automat.

Capcanele: calitate, corelații false și viața privată

Mai multe date nu înseamnă automat adevăruri mai sigure; seturile mari amplifică și erorile, și prejudecățile. Cele mai frecvente probleme sunt calitatea slabă, confuzia dintre corelație și cauzalitate și riscurile pentru intimitatea oamenilor.

Corelație nu înseamnă cauzalitate

Într-un set uriaș de date, aproape orice două variabile pot părea legate doar din întâmplare. Faptul că două lucruri cresc în același timp nu dovedește că unul îl provoacă pe celălalt; pot avea o cauză comună sau pot fi o coincidență. Analiștii serioși caută explicații plauzibile și testează ipotezele, nu se mulțumesc cu o corelație găsită de un algoritm.

Date incomplete sau părtinitoare

Dacă datele provin doar de la o parte din populație, de exemplu doar de la cei care folosesc o anumită aplicație, rezultatele nu descriu întreaga populație. Un model antrenat pe date părtinitoare reproduce aceeași părtinire, un risc discutat și în contextul regulamentului european privind inteligența artificială.

Anonimizare și pseudonimizare

• Pseudonimizarea înlocuiește numele sau CNP-ul cu un cod, dar legătura poate fi refăcută de cine are cheia; datele rămân personale în sensul GDPR.
• Anonimizarea elimină definitiv posibilitatea de a identifica persoana; datele cu adevărat anonime ies din sfera GDPR.

Atenție: Anonimizarea reală este dificilă. Combinând câteva informații aparent banale, cum ar fi codul poștal, data nașterii și sexul, o persoană poate fi uneori reidentificată. De aceea datele se publică de regulă doar agregate, pe grupuri suficient de mari.

În România, aplicarea regulilor privind datele personale este supravegheată de ANSPDCP. Pentru proiecte concrete care prelucrează date personale la scară mare, legislația cere uneori o evaluare a impactului asupra protecției datelor; consultă un specialist, pentru că regulile și interpretările lor se pot schimba.

Recapitulare: de la date multe la decizii bune

Big data nu este o tehnologie anume, ci situația în care datele depășesc puterea instrumentelor obișnuite prin volum, viteză sau varietate. Soluția tehnică este stocarea și procesarea distribuită pe multe servere, în loturi sau în flux, iar scopul este extragerea unei valori reale, nu acumularea de informații.

De reținut:

• cele cinci V sunt volumul, viteza, varietatea, veridicitatea și valoarea;
• depozitul de date păstrează date curățate, lacul de date păstrează date brute;
• procesarea distribuită împarte sarcina pe multe calculatoare și combină rezultatele;
• o corelație găsită în date nu dovedește o relație de cauză și efect;
• datele personale cer temei legal, iar anonimizarea reală este greu de obținut.