Descoperă canalele de integrare a datelor cu Qlik™ Talend Cloud, utilizând funcțiile Databricks AI
Qlik™ Talend Cloud vă permite să construiți canale de date care captează date din numeroase surse – inclusiv surse de date tradiționale și în timp real – și să le transformi pentru a alimenta data lake, lake houses sau depozite de date. Adăugarea capabilităților AI la data lakehouses se află în fruntea listei de priorități a multor organizații IT, deoarece aceste capabilități reprezintă o economie de timp și efort manual pentru consumatorii de date. Databricks este o platformă de data lake extrem de populară și versatilă, bazată pe tabelele Delta, pentru care Qlik™ oferă soluții out-of-the-box de integrare perfectă a datelor. Cu ajutorul capacităților avansate de execuție a fluxurilor inteligente de date Qlik™ Talend Cloud, modificările de la sursă pot fi aplicate automat pe parcursul fluxului de date la tabelele Delta Databricks. Împreună, Qlik™ și Databricks oferă o platformă care îi va ajuta pe clienți să utilizeze capabilități analitice complexe pe tot parcursul ciclului de viață al datelor.
Prezentarea funcționalității Databricks AI SQL
Funcțiile Databricks AI SQL îmbunătățesc SQL tradițional cu capacități avansate pentru analiza și transformarea datelor predictive (??). Funcțiile SQL integrează modele de machine learning direct în interogările SQL, ceea ce permite utilizatorilor să efectueze operațiuni complexe, predicții și analize cu SQL. Acestea includ, de exemplu, suport încorporat pentru inferența modelelor și aplicarea fără probleme a modelelor AI pe datele stocate în tabelele Delta ale Databrick. Unele dintre aceste funcții pot fi utilizate pentru executarea unor taskurii complexe, cum ar fi analiza sentimentelor, corecția gramaticală, traducerea limbii, rezumarea datelor și mascarea datelor. Funcțiile AI simplifică procesul de integrare directă a AI în datele stocate în cadrul platformei Databricks.
Cum funcționează capabilitățile Databricks AI SQL cu Qlik™ Talend Cloud
Mai jos este prezentată o descriere a unui flux de date pentru Qlik™ Talend Cloud care introduce date în Databricks și generează SQL cu ajutorul funcțiilor Databricks AI SQL. Transformările de integrare a datelor Qlik™ Talend Cloud (QTC) generează SQL în cadrul fluxului de transformare, care este executat pe platforma Databricks, rezultând tabele Delta Databricks care stochează rezultatele funcțiilor AI.
Qlik™ oferă o soluție fără cod pentru utilizarea funcțiilor Databricks AI. Organizația dvs. poate utiliza Qlik™ Talend Cloud pentru ingestia de date CDC în timp real, transformarea datelor, calitatea datelor și guvernanța, în timp ce introduceți datele în Databricks Lakehouse. În cadrul fluxului de date, puteți utiliza procesoarele pentru funcțiile AI prin simpla glisare și fixare a acestora pe canvas-ul fluxului de transformare.
Începeți cu funcțiile Databricks AI SQL cu Qlik™ Talend Cloud
Configurarea și rularea funcțiilor Databricks AI
În Qlik™ Talend Cloud, puteți utiliza funcțiile AI SQL în cadrul taskurilor de transformare dintr-un proiect de canale de date. Transformările pot fi valorificate indiferent dacă utilizați Qlik™ Talend Cloud Data Integration pentru integrarea datelor sau orice alt instrument pentru a introduce date în Databricks.
Mai jos este prezentat un exemplu de flux tipic de integrare a datelor Qlik™ Talend Cloud. Aceasta consumă date din mai multe surse și le transformă în structuri pregătite pentru analiză, cum ar fi vizualizările de date derivate din SQL și martele de date automate.
În cadrul canalului de date, fluxurile de transformare pot fi accesate prin crearea unui task de transformare a datelor.
Vizualizarea de transformare oferă o interfață pentru maparea datelor sursă integrate în setul de date țintă. Pentru a crea o transformare, selectați seturile de date sursă și adăugați un flux de transformare.
Din cadrul fluxului de transformare, procesoarele AI pot fi trase pe canvas pentru a crea un flux de date (a se vedea mai jos).
Cu noul procesor AI selectat, proprietățile funcțiilor AI Databricks pot fi configurate utilizând caseta de proprietăți din marginea dreaptă a imaginii de mai jos. Se pot selecta numele funcțiilor Databricks cu coloana ca intrare pentru funcție. Se pot selecta numele coloanelor de ieșire. (Unele dintre funcțiile Databricks AI vor avea parametri de intrare suplimentari solicitați de funcție).
În exemplul de mai jos, veți vedea utilizarea procesorului AI, care va apela funcția ai_summarize SQL în vederea generării unui rezumat pentru categoriile de produse dintr-un tabel în cadrul unui flux de lucru de transformare.
Captura de ecran arată cum poate fi configurată funcția Databricks Summarize AI. Funcția Summarize Databricks AI va utiliza AI pentru a rezuma elementele găsite în cadrul categoriei respective pe o singură linie de text descriptiv. Acest lucru va ajuta consumatorii de date din aval să înțeleagă datele dintr-un anumit tabel – în acest caz, categoriile de produse – fără a fi nevoiți să depună timp și efort pentru cercetări suplimentare și/ sau să scrie interogări suplimentare.
Qlik™ Talend Cloud va genera SQL pentru a fi executat în aval de către Databricks SQL Warehouse.
Dacă Previzualizarea datelor este activată în utilizatorul Qlik™ Talend Cloud. Un eșantion de rezultate ale datelor va fi afișat în canvas. Coloana DESCRIPTION_SUMMARY va afișa rezultatele funcției AI_SUMMARIZE.
Fluxul de transformare va afișa un set de date de ieșire cu o cheie primară. Setul de date va fi creat în Databricks odată ce taskul este pregătit și gata pentru încărcarea datelor.
După finalizarea executării taskului, Databricks Data va fi încărcat cu rezultatele funcției AI. (Rezultatele funcției sunt afișate în coloana DESCRIPTION_SUMMARY).
Concluzie
Funcțiile Databricks AI pot fi utilizate astăzi în Qlik™ Talend Cloud pentru a oferi capabilități AI datelor direct prin fluxuri de transformare, fără a scrie cod. Cu toate acestea, funcțiile AI SQL pot fi în continuare valorificate în codul personalizat scris în cadrul taskului dvs. de transformare. Utilizarea Qlik™ pentru a vă construi canalul de date poate reduce nuanțele complexe ale integrării capacităților AI cu datele dvs. prin utilizarea unei interfețe grafice pentru implementarea fluxului dvs. de transformare. Acest lucru va ajuta organizațiile să se adapteze rapid la valorificarea puterii AI pentru rezolvarea problemelor cu ajutorul platformei Databricks.
Pentru informații despre Qlik™, clic aici: qlik.com.
Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog !