Motorul Dinamic de la Qlik, integrat nativ cu Kubernetes (K8s), revoluționează procesarea datelor cu scalabilitate, automatizare și fluxuri de lucru unificate de neegalat.
Sprijinind medii on-premise, hibride și SaaS, oferă flexibilitate pentru mediile enterprise moderne. Caracteristicile cheie includ scalabilitatea bazată pe Kubernetes, migrarea fără întreruperi de la motoarele Remote și actualizările automate printr-un sistem de versiune built-in (integrat).
Prin optimizarea alocării resurselor și unificarea fluxurilor de lucru în Qlik Talend Cloud, Motorul Dinamic oferă o soluție pregătită pentru viitor pentru nevoile de integrare și procesare a datelor la scară largă.
Pe măsură ce nevoile de gestionare a datelor evoluează rapid și cererea de procesare la scară largă crește, Qlik face un pas îndrăzneț înainte cu lansarea produsului său inovator: Motorul Dinamic.
Acest motor de procesare, conceput pentru a se integra nativ cu Kubernetes (K8s), redefinește arhitectura de procesare a datelor, oferind o soluție unificată, scalabilă și pregătită pentru viitor.
În acest articol de blog, vom explora caracteristicile cheie ale Motorului Dinamic și ceea ce îl diferențiază de soluțiile de procesare existente în Qlik Talend Data Fabric.
Unificarea și scalarea procesării datelor la scară largă
Motorul Dinamic introduce o platformă de procesare unificată care se adaptează fără probleme oricărui task de lucru, indiferent dacă este implementată în medii on-premise, hibride sau SaaS. Această flexibilitate o face soluția de alegere pentru utilizatorii enterprise care doresc să migreze sau să își gestioneze fluxurile de date în diverse configurații de infrastructură.
Iată principalele avantaje ale Motorului Dinamic:
- Integrat nativ cu Kubernetes (K8s): prin folosirea Kubernetes, Motorul Dinamic procesează joburile din pods-uri, oferind scalabilitate orizontală aproape nelimitată. Fiecare proiect este izolat în propriul mediu (bazat pe namespace), asigurând un management mai bun al resurselor și o securitate sporită.
- Procesare distribuită la scară: Spre deosebire de motoarele tradiționale Talend, Motorul Dinamic permite implementarea clusterelor Kubernetes pentru a executa taskuri în paralel, maximizând performanța pentru procesarea loturilor și fluxurile de date în timp real.
- Migrare fără probleme de la Motoarele Remote: pentru utilizatorii existenți ai Motorului Remote, migrarea la Motorul Dinamic este concepută pentru a fi lină și ”nedureroasă”. Motorul Dinamic devine noul standard, asigurând o tranziție fără probleme, beneficiind în același timp de funcții îmbunătățite.
- Fluxuri de lucru de date unificate: Unul dintre obiectivele principale ale Motorului Dinamic este de a unifica fluxurile de lucru de procesare a datelor în întreaga suită Qlik Talend, fie că este vorba de integrare, transformare sau managementul calității datelor. Motorul standardizează și automatizează aceste fluxuri de lucru, indiferent de sursele sau destinațiile de date.
Motorul Dinamic permite organizațiilor să orchestreze taskuri de integrare a datelor pe infrastructura controlată de client, beneficiind în același timp de servicii gestionate în cloud. Dar ce îl diferențiază de motoarele tradiționale precum Talend’s Remote Engine?
Mecanism de actualizare a versiunii Built-in (integrat)
Motorul Dinamic simplifică procesul de menținere a mediului la zi cu cele mai recente versiuni. Cu un mecanism de actualizare a versiunii built-in, utilizatorii vor primi notificări prin intermediul TMC ori de câte ori este disponibilă o actualizare. Sistemul de versiuni asigură coerența între Motorul Dinamic și mediile sale aferente Motorului Dinamic, ceea ce face ca gestionarea upgrade-urilor în diferite medii să fie un proces simplu.
Acest mecanism permite actualizări mai ușoare, facilitând utilizatorilor beneficierea întotdeauna de noi funcții, corecții de securitate și îmbunătățiri ale performanței fără efortul manual necesar de obicei în gestionarea versiunilor.
Migrare fluidă de la motorul de la distanță
Pentru cei care folosesc în prezent Motorul Remote al Qlik Talend, tranziția la Motorul Dinamic se face fără probleme prin calea de migrare bazată pe promovare a TMC. Această migrare este concepută pentru a fi cât mai lipsită de fricțiuni, utilizând API-urile existente și fluxurile de lucru cunoscute.
Cu câțiva pași, utilizatorii își pot promova setările Motorului Remote existente la configurațiile Motorului Dinamic, păstrând familiaritatea mediului existent, profitând în același timp de flexibilitatea adăugată și de capabilitățile native din cloud ale Motorului Dinamic.
Scalabilitate prin Run Profiles
Capacitatea Motorului Dinamic de a scala dinamic este una dintre cele mai puternice caracteristici ale sale. Folosind profilurile de rulare ale TMC, organizațiile pot defini modul în care taskurile lor de date sunt distribuite între resurse.
Acest nivel de personalizare oferă companiilor flexibilitatea de a-și optimiza resursele, de a îmbunătăți performanța și de a reduce costurile, toate gestionate direct prin TMC.
Compatibilitate cu principalii furnizori de cloud și cu infrastructura On-Prem
Motorul Dinamic este conceput pentru a funcționa în diverse infrastructuri cloud și on-prem, ceea ce îl face o alegere versatilă pentru întreprinderi.
Momentan este compatibil cu:
- AWS EKS (Elastic Kubernetes Service)
- Azure AKS (Azure Kubernetes Service)
- Medii de lucru On-premise precum RKE2 și K3S
În viitorul apropiat, compatibilitatea se va extinde la Google GKE (Google Kubernetes Engine) și OpenShift, asigurându-se că Motorul Dinamic poate satisface nevoile organizațiilor pe diferite platforme. Această flexibilitate permite companiilor să mențină o abordare hibridă a infrastructurii cloud și on-prem, în conformitate cu cerințele lor specifice.
Comparație cu Motoarele Remote
Din punct de vedere istoric, soluțiile Talend s-au bazat pe Motoare Remote pentru a executa lucrări în afara Cloud. Aceste motoare au permis utilizatorilor enterprise să mențină controlul asupra infrastructurii lor, utilizând în același timp capabilitățile locale de procesare. Cu toate acestea, pe măsură ce cererea de scalabilitate și flexibilitate a crescut, aceste motoare s-au confruntat cu unele limitări. Motorul Dinamic, pe de altă parte, se poziționează ca o soluție modernă și automată.
Cum funcționează și cum se implementează în diferite medii de lucru
Motorul Dinamic este proiectat pentru a fi implementat fără probleme în diverse medii. Iată o privire mai atentă asupra funcționării sale:
- On-Premise (cu Cloud Orchestration prin TMC): Deși Motorul Dinamic poate fi implementat pe un cluster Kubernetes situat pe o infrastructură on-premise, gestionarea și orchestrarea acestuia sunt încă gestionate prin Talend Management Console (TMC) în Cloud. Aceasta înseamnă că mediile enterprise cu infrastructuri locale își pot folosi resursele existente, beneficiind în același timp de flexibilitatea și agilitatea Cloud pentru gestionarea taskurilor, monitorizarea performanței și scalarea volumului de lucru. Această abordare hibridă permite companiilor să păstreze controlul asupra resurselor lor fizice în timp ce centralizează managementul mediului prin Cloud.
- Hibrid sau SaaS (prin abordarea Kube ca Serviciu): Pentru mediile de lucru enterprise care operează în medii hibride sau complet bazate pe cloud, Dynamic Engine se integrează perfect prin platforme precum Qlik Cloud sau direct prin TMC. Această flexibilitate permite implementarea clusterelor Kubernetes în Cloud și gestionarea joburilor la scară fără a necesita infrastructură locală, făcând implementarea mai simplă și mai rapidă.
- Scalabilitate prin Kubernetes: Unul dintre punctele forte ale Motorului Dinamic este capacitatea sa de a furniza dinamic noduri Kubernetes pe baza nevoilor de procesare. Acest lucru asigură că conductele de date se pot scala automat în funcție de variațiile sarcinii de lucru, maximizând eficiența resurselor și reducând timpul de procesare.
Documentația completă poate fi găsită aici.
Concluzie: un motor pregătit pentru viitor
Cu Motorlul Dinamic, Qlik oferă o soluție care nu numai că abordează provocările actuale ale procesării datelor la scară largă, ci și stabilește standardul pentru nevoile viitoare de gestionare a datelor. Indiferent dacă mediile de lucru enterprise doresc să-și extindă capacitatea de procesare, să-și unifice fluxurile de lucru de date sau să automatizeze gestionarea mediului, Motorul Dinamic se remarcă ca soluție de alegere.
Împreună cu Talend Data Fabric, Motorul Dinamic creează un ecosistem complet care transformă modul în care datele sunt integrate, procesate și valorificate în cadrul organizației.
Pentru informații despre Qlik™, clic aici: qlik.com.
Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog !