În lumea bazată pe date de astăzi, gestionarea în timp real a canalelor de date de încredere este esențială pentru AI și succesul businessului. Noile capabilități DevOps ale Qlik™ Talend Cloud – cum ar fi evoluția automată a schemei, controlul versiunii GitHub și API-urile de import/export – simplifică și optimizează gestionarea canalelor.
Introducere:
În era inteligenței artificiale (AI), nevoia de date exacte, de înaltă calitate și în timp real nu a fost niciodată mai mare. Qlik Talend Cloud, oferta de soluții de integrare și calitate a datelor de la Qlik™, lider de piață, utilizează canale îmbogățite cu inteligență artificială, fără cod, pentru a furniza rapid date de încredere în timp real în întreaga organizație – stimulând inovarea AI, deciziile inteligente și modernizarea afacerilor.
Cu doar câteva luni în urmă, Qlik™ a anunțat disponibilitatea generală a Qlik Talend Cloud și face din ce în ce mai ușor pentru dezvoltatori și ingineri de date să construiască, să gestioneze și să își ajusteze canalele de date de înaltă performanță pentru a sprijini nevoile și cazurile enterprise de utilizare.
Noi capabilități DevOps
Astăzi, Qlik™ anunță câteva noi capabilități Dev-Ops și inovații care vor face și mai simplu și mai ușor pentru clienți să adopte și să gestioneze Qlik™ Talend Cloud pentru ingerarea, transformarea, modelarea, colaborarea și lucrul cu datele pentru nevoile de analiză și AI.
Unele dintre noile capacități cheie care sunt lansate includ:
- Schema automatizată de evoluție
- Control versiuni cu GitHub
- Noi API-uri de import/ export
Să analizăm fiecare dintre ele puțin mai mult.
1. Schema automatizată de evoluție
În ecosistemele moderne de date, sursele de date și cerințele de business sunt adesea dinamice, astfel încât capacitatea de a evolua schemele – adică structura datelor – fără a întrerupe fluxul de date este esențială pentru buna funcționare.
Evoluția schemei permite utilizatorilor să detecteze cu ușurință modificările structurale (aka derivă de schemă) la mai multe surse de date și apoi să controleze modul în care aceste modificări vor fi aplicate proiectului dumneavoastră. La Qlik™, a fost susținută anterior evoluția și derapajul schemei pentru canalele de replicare cu un proces manual pentru canalele de date în mai multe etape, în care inginerii de date trebuiau să monitorizeze manual și să facă modificările relevante la canale.
Qlik™ anunță lansarea funcționalității schema automatizată de evoluției, cu capacitatea de a detecta și automatiza toate modificările DDL care au fost aduse schemei bazei de date sursă și de a simplifica dramatic eforturile necesare pentru modificarea canalelor.
Orice modificare a structurii datelor din baza de date sursă va fi preluată automat și aplicată structurii țintă – inclusiv istoricul de tip 2, o vizualizare completă în timp real a arhitecturii – iar modificările vor fi aplicate canalelor fără nicio intervenție manuală.
Acest lucru permite operațiuni de date mult mai automatizate și mai bine puse la punct, cu mai puține erori și defecțiuni în aval, precum și un strat de stocare (bronz) care este întotdeauna actualizat – chiar și atunci când sunt adăugate noi valori sau coloane la sursă.
Astfel, dacă se adaugă o nouă coloană în baza de date sursă, aceasta este detectată și capturată automat cu istoricul de tip 2, iar modificările corespunzătoare sunt reflectate în tabelele din zonele de aterizare și de stocare, fără a fi necesară reîncărcarea datelor. De asemenea, pentru orice modificări dincolo de stratul de bronz, utilizatorii primesc notificări/ alerte cu privire la modificările schemei în stratul de bronz, astfel încât să poată reacționa rapid pentru a face modificări la conductele din aval.
Iată o demonstrație rapidă a noii funcționalități schema automatizată de evoluție:
Cu schema automatizată de evoluție, utilizatorii pot stabili reguli distincte și au acces la o serie de controale mai fine pentru evoluția schemei. Acestea includ acțiunile specifice care trebuie întreprinse pentru diferite evenimente DDL – cum ar fi adăugarea automată a unei coloane la țintă sau suspendarea unui tabel la redenumire etc. Aceste configurații permit utilizatorilor să prevină impactul în aval și să controleze comportamentul în platforma de date țintă.
Vedeți exemplul de mai jos.
Schema automata de evoluție este acum disponibilă general, iar mai multe informații despre această funcționaliate pot fi găsite pe pagina de ajutor/ documentație Qlik™ aici.
2. Control versiune cu GitHub
Funcția Control versiune permite dezvoltatorilor să lucreze concomitent la diferite aspecte ale unui proiect – cum ar fi adăugarea de noi caracteristici sau remedierea erorilor – fără a perturba versiunea principală a proiectului. Această abordare sprijină dezvoltarea incrementală, colaborativă și sigură, permițând echipelor să lanseze actualizări progresive, menținând în același timp stabilitatea.
Qlik™ lansează facilitatea Control versiune pentru canalele Qlik™ Talend Cloud prin integrarea eficientă și sigură cu GitHub și suport pentru ramificare.
Fiecare utilizator Qlik™ Talend Cloud din organizație își poate utiliza contul GitHub cu un token de acces personal pentru a-și conecta proiectele la orice depozit GitHub autorizat.
Mai important, cu noua funcție de „ramificare”, aceasta permite mai multor dezvoltatori să:
- Creați filiale pentru a izola o caracteristică sau pentru a edita un proiect fără a afecta filiala „Main”;
- Personalizați prefixul schemei care urmează să fie adăugat la toate seturile de date ale sucursalei pentru a evita conflictele;
- Comutați între filiale, partajați filiale sau aplicați modificări de pe GitHub la filiala de lucru sau „Main”;
- Ștergeți filialele, dacă este necesar, atunci când activitatea specifică este finalizată.
Acest model de dezvoltare paralelă permite membrilor echipei să își sincronizeze eficient modificările și să colaboreze fără conflicte și fără a pune în pericol munca celorlalți.
Utilizatorii pot deschide chiar și un proiect existent localizat într-un depozit GitHub. Acest lucru permite partajarea proiectelor între spații și utilizatori.
Iată o demonstrație rapidă a noii funcționalități Control versiune:
Utilizând GitHub, dezvoltatorii pot trimite cereri de preluare, unde alți membri ai echipei pot revizui și aproba codul înainte ca acesta să fie încorporat în proiectul principal. Acest proces de revizuire asigură un control colaborativ al calității și reduce riscul introducerii de erori, permițând în același timp dezvoltatorilor să trimită în siguranță modificările către depozitul central.
Funcția Control versiune, ramificarea și prefixele schemei sporesc și mai mult securitatea, minimizând riscul de pierdere sau corupere a datelor, promovând în același timp angajamentul de colaborare.
Control versiune este acum disponibilă în general în Qlik™ Talend Cloud Standard edition (și versiunile ulterioare). Pentru mai multe detalii despre funcția Control versiune și despre cum să începeți, vă rugăm să vizitați pagina de documentație aici.
3. Noi API-uri de import/ export
Împreună cu alte inovații DevOps, Qlik™ anunță lansarea unui nou set de puncte finale REST API pentru importul și exportul de conducte sau proiecte în QTC. Acest lucru va permite, la rândul său, utilizatorilor să înceapă construirea și gestionarea conductelor lor de date utilizând o abordare de integrare continuă / implementare continuă (CI/CD).
Aceste noi API-uri reproduc în mod programatic capacitățile disponibile în interfața cu utilizatorul și permit programatorilor să gestioneze proiecte între utilizatori și spații în scopuri de implementare într-un mod ușor de utilizat.
În doar câteva apeluri API, utilizatorii pot citi acum variabilele proiectului (denumite bindings), exporta și reimporta proiecte.
API-ul de export creează un fișier ZIP care conține tot conținutul necesar al proiectului pentru reimportare. Pe lângă toate resursele legate de proiect (inclusiv sarcini, seturi de date etc.), API-ul de export generează, de asemenea, un fișier „bindings” (legături) separat al cărui scop este de a lista toți parametrii și variabilele proiectului pentru ca utilizatorii să le poată personaliza la reimportare.
Pentru a importa un proiect, utilizatorii au de ales între a crea un proiect nou (utilizând API-ul dedicat) sau a importa în cadrul unui proiect existent. În ultimul caz, utilizatorii trebuie doar să citească/ actualizeze legăturile și să importe conținutul proiectului pentru a-l suprascrie pe cel existent.
Lista punctelor finale ale API-urilor de import/ export pe care le lansăm include:
Vă rugăm să găsiți mai jos o demonstrație rapidă a noilor API-uri de import/export:
Această caracteristică este acum disponibilă în general și puteți găsi mai multe detalii despre API-urile de export/ import, vizitați pagina de documentație aici.
Rezumat
Aceste noi caracteristici DevOps în Qlik™ Talend Cloud reprezintă un pas înainte semnificativ în simplificarea și optimizarea gestionării conductelor de date. Prin automatizarea proceselor cheie, cum ar fi evoluția schemei, integrarea capacităților robuste de control al versiunilor și facilitarea fluxurilor de lucru CI/CD fără întreruperi prin intermediul noilor API-uri, permitem echipelor de date să lucreze mai rapid, mai inteligent și cu mai multă încredere.
Pe măsură ce companiile continuă să se bazeze pe date de încredere, în timp real, pentru luarea deciziilor bazate pe inteligența artificială, aceste inovații garantează că infrastructura dvs. de date nu este doar rezistentă și scalabilă, ci și pregătită pentru viitor. Indiferent dacă gestionați medii complexe de date sau dezvoltați soluții analitice de ultimă generație, aceste îmbunătățiri facilitează adaptarea, colaborarea și păstrarea unul loc de frunte. Cu siguranță, aceste noi caracteristici vă vor ajuta să deblocați o valoare și mai mare din datele dvs., stimulând inovația și transformarea afacerii.
Pentru informații despre Qlik™, clic aici: qlik.com.
Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog !