Cuprins 6 secțiuni
Data warehouse și data lake sunt două moduri de a aduna datele unei organizații într-un singur loc, ca să poată fi analizate. Numele spun mult: un depozit (warehouse) are rafturi etichetate, în care fiecare lucru are locul lui, iar un lac (lake) primește tot ce curge în el, fără să sorteze la intrare. Diferența de bază este momentul în care pui ordine în date.
Dacă știi deja ce sunt volumele mari de date, întrebarea următoare este firească: unde le pui, ca să le poți folosi? Răspunsul depinde de ce vrei să faci cu ele.
Ce este un data warehouse?
Un data warehouse este o bază de date construită special pentru analiză, în care datele sunt curățate, organizate în tabele și gata de interogat. Primește informații din mai multe surse, de exemplu vânzări, stocuri și clienți, și le aduce la un format comun.
Gândește-te la un lanț de magazine. Fiecare casă de marcat, fiecare site și fiecare depozit produce date în alt format. Warehouse-ul le unifică: aceeași definiție pentru „vânzare”, aceleași denumiri de produse, aceleași formate de dată. Un manager poate apoi întreba „cât s-a vândut pe regiuni, lună de lună” și primește răspunsul rapid, pentru că datele au fost pregătite pentru exact acest tip de întrebare.
Principiul se numește schema la scriere: stabilești structura înainte să încarci datele, iar ce nu se potrivește este corectat sau respins. Rezultatul este fiabilitate. Costul este rigiditatea: dacă apare un tip nou de date, schema trebuie extinsă, iar procesul poate dura.
Ce este un data lake?
Un data lake este un depozit mare în care datele se păstrează în forma lor originală, structurate sau nu: tabele, fișiere text, jurnale de aplicații, imagini, înregistrări audio. Nu se cere nicio structură la intrare.
De obicei, lacul se construiește peste stocare pe obiecte, ieftină și aproape nelimitată, descrisă în Stocarea pe obiecte, bloc și fișiere: ce alegi. Datele se pun acolo așa cum sunt, iar structura se aplică abia când cineva le citește. Principiul se numește schema la citire.
Avantajul este flexibilitatea. Poți păstra date pentru care încă nu știi la ce vor folosi, ceea ce este util pentru cercetare și pentru antrenarea modelelor de învățare automată, care au nevoie de volume mari și variate; vezi Învățarea automată (machine learning) explicată simplu. Riscul se numește, în glumă, „mlaștină de date” (data swamp): dacă nimeni nu documentează ce conține lacul, devine un loc în care nu mai găsești nimic, iar datele nu pot fi folosite cu încredere.
Cum diferă cele două abordări?
Diferențele se văd în structură, în utilizatori și în costuri. Tabelul de mai jos le adună.
| Criteriu | Data warehouse | Data lake |
|---|---|---|
| Tip de date | Structurate, curățate | De orice fel, brute |
| Schema | La scriere (înainte) | La citire (după) |
| Utilizatori tipici | Analiști, manageri, rapoarte | Cercetători de date, ingineri |
| Viteză la interogări | Foarte bună | Variabilă |
| Cost de stocare | Mai mare | Mai mic |
| Flexibilitate | Mai mică | Mare |
| Risc principal | Rigiditate | Dezordine |
Cele două nu se exclud. Multe firme păstrează totul în lac, apoi curăță și mută în warehouse partea necesară rapoartelor. Lacul devine astfel sursa brută, iar warehouse-ul vitrina curată.
Ce este procesul ETL?
ETL înseamnă „extract, transform, load”, adică extragere, transformare și încărcare: procesul prin care datele sunt preluate din surse, aduse la forma dorită și puse în depozit. Este puntea dintre aplicațiile care produc datele și sistemul care le analizează.
Cei trei pași se pot urmări simplu:
- Extragerea. Se citesc datele din sursele lor: baze de date, fișiere, aplicații prin API-uri.
- Transformarea. Se elimină dublurile, se corectează erorile, se unifică formatele și se calculează câmpuri noi.
- Încărcarea. Rezultatul este scris în depozit.
La lacurile de date apare adesea varianta inversată, ELT: datele se încarcă mai întâi, iar transformarea se face după, folosind puterea de calcul a platformei. Alegerea depinde de volum și de cât de repede ai nevoie de datele curate. Sursele de pornire sunt, de cele mai multe ori, bazele de date operaționale ale aplicațiilor.
Atenție: Datele personale din depozite trebuie tratate cu aceeași grijă ca la sursă. Dacă păstrezi tot „pentru orice eventualitate”, păstrezi și informații pe care legea sau reputația ta te obligă să le protejezi sau să le ștergi la timp.
Ce este arhitectura lakehouse și când o alegi?
Lakehouse este o arhitectură care încearcă să combine ieftinătatea și flexibilitatea lacului cu structura și viteza depozitului. Datele rămân în stocare ieftină, dar un strat de gestiune adaugă tabele, reguli și tranzacții, astfel încât să poată fi interogate ca într-un warehouse.
Ideea răspunde unei probleme reale: menținerea a două sisteme separate, cu copii ale acelorași date, costă și se desincronizează. Un singur sistem simplifică traseul. Nu este însă o soluție universală, iar pentru o firmă mică, un warehouse simplu sau chiar o singură bază de date bine proiectată poate fi suficientă.
Ca regulă practică, alegi:
- warehouse, dacă vrei rapoarte stabile, pe date structurate, folosite de oameni fără pregătire tehnică;
- lake, dacă strângi tipuri variate de date și ai specialiști care să le prelucreze;
- lakehouse, dacă ai ambele nevoi și o echipă capabilă să administreze un sistem mai nou;
- nimic dintre ele, dacă volumul este mic și o foaie de calcul sau o bază de date obișnuită îți rezolvă problema.
Majoritatea acestor sisteme rulează în cloud, la servicii gestionate, în modelele descrise în IaaS, PaaS și SaaS: diferențele explicate simplu. Alegerea furnizorului și a regiunii trebuie să țină cont de costurile reale, mai ales de cele de transfer.
Întrebări frecvente
Un data lake înlocuiește un data warehouse?
De obicei nu. Cele două au roluri diferite și se completează: lacul păstrează datele brute, iar warehouse-ul oferă răspunsuri rapide pe date curate.
Ce este o mlaștină de date?
Este un data lake fără documentație și fără reguli, în care nimeni nu mai știe ce conțin fișierele. Datele există, dar nu mai pot fi folosite cu încredere.
Ce înseamnă schema la citire?
Înseamnă că structura datelor se stabilește în momentul în care le interoghezi, nu în momentul în care le salvezi. Permite păstrarea datelor brute, fără prelucrare prealabilă.
O firmă mică are nevoie de data warehouse?
De cele mai multe ori nu. Pentru volume mici, o bază de date obișnuită sau o foaie de calcul bine organizată este suficientă și mult mai simplă.
Cine folosește un data lake?
În principal cercetătorii de date și inginerii, care au nevoie de date brute și variate, de exemplu pentru antrenarea modelelor sau pentru analize explorative.
