În acest articol, vă prezentăm pas cu pas cum să utilizați Qlik Talend Data Integration pentru a crea un task de replicare care transferă datele din YouTube Analytics în depozitul dvs. de date analitice.
Deși Qlik este de obicei asociat cu nivelul de analiză, acest exemplu se concentrează pe partea de integrare a datelor a platformei. În această demonstrație, vom crea un proiect pipeline și vom configura o sarcină de replicare care preia datele din YouTube Analytics și le încarcă într-o bază de date țintă.
Crearea unui proiect Pipeline
Qlik a dezvoltat inițiative pentru a genera analize pe întreaga sa platformă de conținut video. Acest exemplu ilustrează cum să configurezi un pipeline de integrare a datelor pentru YouTube Analytics, care ulterior poate fi extins pentru a include surse de date suplimentare.
Pentru a începe:
- Navigați Pipeline Projects (Proiecte Pipeline).
- Faceți clic pe Create a project (Creează un proiect).
Creați un Replication Project (proiect de replicare) și atribuiți-i un nume, de exemplu: Qlik YouTube Analytics.
Apoi, selectați spațiul de proiecte de date numit YouTube Analytics și faceți clic pe Create (Creează).
Crearea taskului de replicare
După ce proiectul a fost creat:
- Faceți clic pe Replicate Data (Replicare date).
- Atribuiți un nume sarcinii, de exemplu: Qlik YouTube Analytics.
În mod implicit, numele introdus aici va fi folosit și ca nume al schemei pentru baza de date țintă.
Crearea conexiunii YouTube Analytics
Deoarece nu a fost configurată nicio conexiune până acum, faceți clic pe Create connection (Creează conexiune), căutați YouTube și selectați YouTube Analytics.
Veți vedea apoi mai multe câmpuri obligatorii de completat. Configurarea Gateway-ului nu este necesară în acest caz, însă trebuie să specificați:
- Start Date (Data de început) – de exemplu, începutul anului. Sistemul setează automat ca valoare implicită ziua precedentă (de exemplu, 31 decembrie).
- Channel ID (ID-ul canalului)
- Client ID
- Client Secret
Channel ID (ID-ul canalului) corespunde identificatorului canalului dvs. YouTube.
Client ID și Client Secret trebuie generate de echipa dvs. prin intermediul mediului Google Cloud API.
Dacă aveți acces la consola Google Cloud APIs, puteți crea un client web folosind autentificarea OAuth și obține aceste credențiale.
Mai jos este un exemplu de Client ID configurat pentru o aplicație web.
Această configurație a fost creată sub un cont care are acces la canalul Qlik YouTube.
De asemenea, veți folosi OAuth 2.0 Playground din Google Developers pentru a genera token-ul de reîmprospătare (refresh token) necesar autentificării.
În cadrul configurării OAuth, lăsați setările implicite neschimbate. Asigurați-vă că Redirect URI a fost deja configurat
Selectați Use your own credentials (Utilizați propriile credențiale), apoi introduceți Client ID și Client Secret.
Autorizarea API-ului
În continuare, identificați API-urile necesare pentru conector.
Conectorul YouTube Analytics din Qlik Talend Data Integration utilizează, de fapt, YouTube Data API, chiar dacă denumirea sugerează că ar putea folosi Analytics API.
Pentru a continua, autorizați permisiunea (scope) YouTube Read-Only din lista Google APIs și faceți clic pe Authorize APIs (Autorizare API-uri).
Selectați contul Google care are acces la canalul YouTube relevant.
Deoarece aceasta este, de obicei, o aplicație de test care nu a fost încă verificată de Google, este posibil să vedeți un mesaj de avertizare.
Continuați pentru a accesa datele YouTube Analytics și pentru a genera tokenul de reîmprospătare (refresh token).
Faceți clic pe Continue (Continuare).
Veți vedea apoi opțiunea Exchange authorization code for tokens (Schimbați codul de autorizare pentru tokenuri).
Din cauza unei mici probleme de interfață în consola Google, secțiunea se poate restrânge automat.
Pur și simplu extindeți din nou secțiunea pentru a obține refresh tokenul (tokenul de reîmprospătare).
Copiați tokenul de reîmprospătare și inserați-l în câmpul Refresh Token din configurația conectorului.
Apoi introduceți Client ID și Client Secret și păstrați numele conectorului ca YouTube Analytics.
Faceți clic pe Create (Creare). Procesul de validare durează, de obicei, mai puțin de un minut. Odată finalizat, veți putea vizualiza obiectele de date disponibile oferite de conectorul YouTube.
Astfel, acum aveți o conexiune. Puteți face clic pe Next (Continuare) și aici veți vedea numele setului de date. Sistemul va afișa toate obiectele disponibile din conectorul de date YouTube.
Pentru a lista obiectele de date disponibile, utilizați % ca simbol wildcard și faceți clic pe Search (Căutare).
În această etapă, selectați pur și simplu obiectele de date pe care doriți să le replicați. Pentru acest exemplu, vom alege setul de date Videos pentru a păstra lucrurile simple.
Adăugați setul de date selectat și faceți clic pe Next (Continuare).
Configurarea targetului
În continuare, definiți baza de date targetată.
Conexiunea țintă trebuie să fie deja configurată. Aceasta presupune, de obicei, specificarea host-ului, bazei de date și a setărilor de autentificare.
În acest exemplu, targetul este o bază de date SQL găzduită în Azure Cloud.
Puteți defini:
- Baza de date targetată
- Numeles schememi
- Programul de replicare
Dacă sunt lăsate necompletate, vor fi folosite denumirile implicite. În acest exemplu, atribuim numele Qlik YouTube Analytics și programăm replicarea la fiecare șase ore.
Faceți clic pe Next (Continuare).
Pregătirea și rularea taskului
Odată ce pipeline-ul este creat, deschideți sarcina de date și faceți clic pe Create (Crează).
Țineți cont că, dacă modificați mai târziu permisiunile API (scopes) sau alte setări de autentificare, va trebui să generați un nou refresh token (token de reîmprospătare) și să actualizați conectorul corespunzător. După actualizarea conectorului, modificările pot necesita 5–10 minute pentru a fi propagate în mediul cloud.
Dacă întâmpinați în continuare erori după actualizarea permisiunilor, este probabil pentru că modificarea nu a fost încă aplicată.
Când se deschide sarcina, veți vedea starea Ready to prepare (Gata de pregătire).
În acest exemplu, folosim un client SQL extern numit DBeaver pentru a inspecta baza de date.
Acest instrument vă permite să navigați și să gestionați toate schemele bazei de date.
Întoarceți-vă la pagina anterioară și faceți clic pe Prepare (Pregătire), apoi pe Confirm (Confirmare).
Sistemul va afișa un jurnal în timp real, arătând crearea schemelor și structurilor de tabele în baza de date țintă.
Procesul durează, de obicei, mai puțin de un minut. În timpul pregătirii, sistemul preia eșantioane de date din tabelul Videos.
Odată ce pregătirea se finalizează cu succes, reîmprospătați vizualizarea bazei de date în DBeaver. Veți vedea noua schemă Qlik YouTube Analytics și tabelul Videos.
În această etapă, structura tabelului există, dar încă nu conține date.
Pentru a încărca datele, faceți clic pe Run (Rulează).
Interfața trece din modul de proiectare în modul de monitorizare.
Aici puteți observa statistici și metrici legate de încărcarea datelor.
După câteva minute, activitatea va începe să apară în vizualizarea de monitorizare.
Puteți naviga prin diferitele tab-uri pentru a urmări starea taskului.
Odată ce procesul se finalizează, veți vedea numărul de înregistrări inserate sau actualizate.
Deoarece programul de replicare este configurat la fiecare șase ore, sarcina va continua să ruleze conform acestui program.
Dacă revenim în DBeaver și vizualizăm datele din tabelul „Videos”, putem acum vedea informațiile încărcate, inclusiv ID-urile videoclipurilor, datele de publicare și statisticile.
Concluzie
Această demonstrație ilustrează modul de creare a unui task de replicare în Qlik Talend Data Integration pentru a prelua date din YouTube Analytics și a le încărca într-o bază de date țintă.
Acesta este primul pas într-un proces mai amplu de consolidare a datelor într-un data store sau data mart, care poate susține analize avansate sau inițiative AI.
Urmăriți demonstrația video completă mai jos.
Sursă articol: Qlik videos.
Pentru informații despre Qlik™, clic aici: qlik.com.
Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog !