Abordarea API (Application Programming Interface) este o metodă utilă de accesare a anumitor operațiuni, caracteristici sau date în cadrul unei aplicații. Acestea sunt utile în automatizarea sarcinilor repetitive și consumatoare de timp. Acest lucru conduce foarte bine la DataOps, care este, în esență, un set de bune practici care utilizează procese și tehnologii pentru a îmbunătăți calitatea, viteza și colaborarea cu privire la date cu ajutorul automatizării.
Qlik™ Cloud Data Integration și Qlik™ Application Automation pot accesa API pentru o gamă largă de cazuri de utilizare. Profitați de API-urile publice pentru a vă crea fluxuri DataOps fără griji.
La Qlik™, automatizarea se află în centrul soluțiilor din întregul lor portofoliu end-to-end, de la integrarea datelor la analiza datelor, care nu numai că oferă informații utile, dar face posibilă și automatizarea acțiunilor.
De exemplu, să examinăm soluțiile native în cloud, Qlik™ Cloud Data Integration și Qlik™ Application Automation.
Qlik™ Cloud Data Integration oferă o abordare pro-code/ low-code pentru a vă ajuta să construiți canale de replicare automată și canale de transformare a datelor care să furnizeze cele mai proaspete date. Cea mai bună tehnologie de captare a datelor de modificare (CDC) din clasa Qlik™ oferă automat date ori de câte ori apar modificări la sursă.
Qlik™ Application Automation este soluția low-code de la Qlik™ pentru crearea de fluxuri de lucru integrate între cele mai populare aplicații SaaS. Puteți alege dintr-o multitudine de blocuri care răspund automat la evenimente de afaceri și se declanșează dintr-o multitudine de aplicații SaaS și platforme bazate pe cloud. Acest lucru vă scutește de necesitatea de a scrie sute de linii complexe de cod pentru toate API-urile pe care ați putea dori să le utilizați.
Toate blocurile sunt construite pe baza API-urilor publice pentru Qlik™ Cloud, care sunt, de asemenea, publicate aici Qlik™ developer portal.
- Obțineți detalii despre sarcina de date
- Lista proiectelor pe un anumit spațiu de date
- Lista sarcinilor de date dintr-un anumit proiect
- Pornirea și oprirea sarcinilor
- Porniți sarcinile de date și așteptați finalizarea (lansată la jumătatea lunii mai 2024)
Pe măsură ce Qlik™ va lansa alte API-uri pentru Qlik™ Cloud, ei vor continua să îmbunătățească și să adauge la aceste blocuri în timp, pentru a contribui la crearea de noi cazuri de utilizare. Un exemplu în acest sens este blocul „Start data tasks and wait for completion” („Porniți sarcinile de date și așteptați finalizarea”), care a fost disponibil recent.
Aceste blocuri de automatizare oferă un nivel suplimentar de control și flexibilitate asupra încărcăturilor utile de integrare a datelor, permițându-vă să construiți fluxuri de lucru de orchestrare mai complexe pe lângă fluxurile de date.
De exemplu, le puteți utiliza pentru a orchestra lucrări pe care le aveți în execuție în Qlik™ Cloud și Talend Cloud, notebook-uri Databricks sau chiar DBT cloud.
Există multe cazuri de utilizare pentru Qlik™ App Automation în Qlik™ Cloud Data Integration și iată mai jos doar câteva exemple.
Gestionarea gateway-ului de date
Ați putea automatiza actualizările gateway-ului, ceea ce ar opri o sarcină CDC, ar actualiza gateway-ul de circulație a datelor și apoi ar reporni sarcina CDC după ce gateway-ul a fost actualizat cu succes.
Automatizarea proceselor de ticket de suport
Treceți de la reactiv la proactiv, de exemplu, în cazul în care o sarcină eșuează, cum ar fi o defecțiune a rețelei sau un set de date sursă care nu este disponibil. Ați putea configura un flux de lucru de automatizare care să trimită un mesaj ServiceNow în cazul în care apare o defecțiune.
Optimizarea fluxurilor de lucru cu sarcini paralele
Aceasta este cea mai recentă capabilitate care a fost adăugată pentru Qlik™ Cloud Data Integration: capacitatea de a începe mai multe sarcini în paralel și de a aștepta ca toate sarcinile să fie finalizate înainte ca fluxul de lucru să continue cu următoarea etapă.
Pentru a da viață acestui ultim exemplu, imaginați-vă că suntem un magazin online de modă care primește comenzi de la clienții noștri în fiecare zi.
Avem în stoc niște pantofi de ultimă generație și primim comenzi de peste tot, așa că în fiecare zi primim din ce în ce mai multe comenzi și, în paralel, trebuie să colectăm detaliile clienților, cum ar fi numele, adresa, situația creditului și așa mai departe.
În sistemul de înregistrări sunt două baze de date operaționale diferite, una pentru vânzări și una pentru datele clienților.
A fost creat un proiect în Qlik™ Cloud Data Integration, care are o serie de sarcini configurate pentru fiecare dintre aceste baze de date, iar proiectul este setat să ruleze pe o bază programată fixă. (Este de fapt proiectul din prima captură de ecran de mai sus).
Modul în care este gestionat în prezent în Qlik™ Cloud Data Integration în mod implicit este că, de fiecare dată când oricare dintre aceste sarcini de stocare este finalizată, procesul de transformare a datelor va începe să ruleze, însă este posibil ca ambele noastre baze de date operaționale să fie actualizate în momente diferite ale zilei, la frecvențe diferite, în plus, tabelul de comenzi de vânzări este un set de date mult mai mare decât celălalt, ceea ce face ca sarcina de stocare pentru acest tabel să dureze mult mai mult decât cea pentru setul de date al clientului.
Aici intervine Qlik™ Application Automation. Acesta ne ajută să obținem un control mai fin asupra acestei orchestrații și să ne asigurăm că ambele sarcini sunt finalizate înainte ca transformarea să poată fi executată.
Putem acum să configurăm un flux de lucru în Qlik™ Application Automation și să folosim noul bloc „Start Data Tasks And Wait For Completion” (Porniți sarcinile de date și așteptați finalizarea), care va actualiza ambele noastre sarcini de stocare pentru a ne asigura că avem date noi din ambele surse de date, atât din vânzări, cât și din clienți, pentru ca sarcinile noastre de transformare să funcționeze.
Toate automatizările sunt configurate cu blocul „Start” și pot fi executate după un program, după cum este necesar. În acest exemplu, am realizat o automatizare foarte simplă care pornește toate sarcinile de stocare în același timp. Primul pas este să enumerăm sarcinile de date din proiect pe care dorim să le executăm. Apoi, putem utiliza cea mai bună practică de a crea variabile pentru fiecare dintre sarcinile de stocare pe care dorim ca fluxul de lucru să le orchestreze, pentru a face față noilor sarcini de stocare care pot apărea în viitor.
Sarcinile sunt apoi utilizate ca intrări pentru blocurile „Start Data Tasks and Wait for Completion” (Porniți sarcinile de date și așteptați finalizarea), care interoghează sarcinile până când acestea sunt finalizate și returnează rezultatele stării lor, cum ar fi eșuat, anulat sau finalizat.
Această stare este apoi utilizată în blocul „Condition” (Condiție), care, în funcție de starea returnată, fie va începe sarcina TRANSFORM (TRANSFORMARE) dacă ambele sarcini STORAGE (DEPOZITARE) sunt finalizate cu succes, fie va trimite un mesaj prin Slack către echipa DEV prin care îi notifică să investigheze.
Există, de asemenea, o mulțime de capacități de monitorizare în Qlik™ Cloud pentru a ajuta la verificarea stării, cum ar fi ‘History view’ (Vizualizarea istoricului) din Qlik™ Application Automation, care arată modul în care funcționează automatizările dumneavoastră.
Qlik™ va adăuga un nou șablon la Qlik™ Application Automation care reproduce cazul de utilizare de mai sus. Acesta poate fi personalizat în funcție de nevoile dvs. și vă ajută să începeți în câteva minute.
Consultați acest articol de asistență pentru noul șablon, care va fi disponibil în curând: „Start Data Integration tasks and wait for completion„.
Acesta este doar unul dintre multele cazuri de utilizare pentru Qlik™ Application Automation, care aduce un nivel suplimentar de control asupra fluxurilor de lucru Qlik™ Cloud Data Integration și adaugă o valoare imensă clienților Qlik™.
Dacă aveți un utilizator Qlik™ Cloud Data Integration, puteți începe să utilizați Qlik™ Application Automation chiar astăzi.
Pentru informații despre Qlik™, clic aici: qlik.com.
Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog!