Menu

QQdata.quality™

Engine-ul QQdata.quality™ complementează QQvalidator, valorificând principii similare, dar aplicate în scopul evaluării calității datelor sursă (sau a celor procesate) și a identificării problemelor ce necesită:

  • alertări;
  • intervenții de corecție manuală în sistemele informatice sursă;
  • corecții automate;
  • sau alerte și propuneri de corecție manuală către personalul responsabil de calitatea datelor (Data Stewart).

Ca atare, în acest engine sunt incluse un spațiu de configurare a verificărilor, alertarilor si corectiilor/ propunerilor de corectie, inclusiv tipurile de mesaje și logicile de identificare a destinatarilor, sistemul de identificare a problemelor de DQ, sistemul de alertare, sistemul de blocare până la remedierea seturilor de date și de eliberare post corectare, sistemul de identificare a situațiilor ce necesită corectia manuală și de colectare a deciziilor de corectare, plus un set de monitoare care oferă la orice moment o situație de sinteză asupra stadiuliu actual și a istoriei de alerte și corecții DQ, indiferent de calea de rezolvare aplicată (alertare cu corecție în amonte / corecție automată /  corecție manuală).

Aplicația QQdata.quality™ conține semafoare de alertare ale verificărilor, culoarea verde arată că toate datele au trecut cu succes  de verificare, fiind corecte in urma evaluarilor definite de DQ, iar cea rosie arată că sunt date care nu au trecut de verificare, adica verificările, unele sau toate, au eșuat.

Mai jos, prezentăm câteva exemple de utilizare ale QQdata.quality™, în contextul unui proces de export-import a facturilor emise si a clienților înregistrați într-un ERP Operațional către notele contabile ale unui ERP financiar-contabil.

Sistemul permite:

  • definirea mai multor valuri (reguli)  de evaluare a calității datelor, fiecare asociat(a) unei tabele;
  • a unor filtre generale, valabile pe tabela respectivă;
  • a unei granularități specifice;
  • precum si a sub-regulilor de identificare a situațiilor nedorite, a propunerilor de soluționare specifice și a canalelor de comunicare-alertare, potrivite fiecărei situații.

Un exempu de regulă de validare a clienților foarte necesară într-un astfel de proces:  nu este permis ca un client să nu aibă în nomenclatorul ERP-ului sursa de informații necompletate în câmpurile Țară, Localitate și Județ, în conformitate cu cerințele legal-contabile curente. (vezi SAF-T și eFactura, cel puțin).

Regula are mai multe sub-reguli de verificare și acțiune, după cum urmează:

  • Dacă Țara nu e completată, autocompletăm cu Ro;
  • Dacă Localitatea nu e completată, trimitem un email la responsabilul original (inițiatorul  introducerii datelor în ERP), dar și la echipa centrală de Data Quality Assurance, sau la șefii de sucursală/ magazin, responsabili cu calitatea datelor din vânzări;
  • Iar dacă județul nu e completat, precompletăm, ca propunere către Data Stewart-ul responsabil (local sau central), județul locației ca fiind și județul clientului, urmând ca acesta să completeze direct în interfața Qlik™ decizia sa finală.

Observație: Acest scenariu este unul fictiv, care încearcă să demonstreze flexiblitatea, versatilitea și eficiența QQdata.quality™.

În mod normal, recomandăm pentru acest caz ca toate cele 3 subreguli să fie incluse în aceeași logică de alertare și rezolvare: completarea informației lipsă în ERP-ul sursă de către inițiatorul responsabil, alertarea făcându-se consolidat la nivel de fiecare client identificat cu probleme, indiferent câte subreguli au identificat probleme la clientul respectiv, dacă metoda de soluționare e aceeași pentru toate subregulile. Alertarea respectivă poate cuprinde inclusiv recomandările automate de completare, definite în fiecare sub-regulă.

Odata ce o înregistrare a fost identificată cu probleme, indiferent de tipologie și mecanism de corectare definit, alerte pe email sunt trimise la cei responsabili, fiecare alertă email având un mesaj specific depinzând de regula și subregulile de evaluare cu probleme aferente, dar și de eventualele propuneri de corectare, dacă acestea au fost definite în sub-reguli.

Toți clienții care au avut probleme identificate sunt pusși într-o stare Holded, în timp ce clienții care au fost validați cu succes sunt trimiși mai departe în continuarea fluxului de import. Dar, până să fie trimiși mai departe, pentru că ei ar putea să fie clienți care au avut anterior o problema DQ, se verifică și dacă vreunul dintre cei proaspăt trecuți de validarea DQ nu este cumva aflat pe Hold de la un proces de evaluare anterior, caz în care se marchează și „eliberarea” respectivului client din starea Holded. 

Fiecare client cu probleme are inclus în aceeași alerta specifică toate subregulile de validare pe care le-a încălcat, dacă acestea au căi de soluționare, mesaje de email și destinații specifice consistent grupabile împreună.

Mai jos ,puteți vedea o diagramă de proces simplificată, care explică acest exemplu de proces.

Clienții pentru care s-au emis alerte necesită intervenție în ERP1.Comecial si vor fi ulterior reimportați de acolo, având în vedere time-stampul nou, de client modificat recent în nomenclator. 

Dacă se confirmă că noile versiuni de informații au trecut de reverificarea DQ, clientul respectiv este scos din raportul de clienți încă cu probleme (Holded) si va fi disponibil în istorie (cu starea Released). Altfel clientul este repus din nou pe Holded și o nouă alertă este emisă, pe canalaul și cu mesajul asociat cu subregula de validare care nu a fost respectată.

Rămâne separat de fapt o intreagă istorie a problemelor identificate și apoi rezolvate, inclusiv  a  originatorului datelor, a responsabilului de corectare, a timpului până la rezolvare și a celui care a rezolvat (pentru management, motivare, training si o eventual reorganizare ulterioara).

Interfața de inspectare Data Quality Clienți

Oferă o tabelă filtrabilă cu informațiile despre clienții (recenți & relevanți), care nu au trecut de verificările de Data Quality definite si care sunt încă în stadiul Holded. 

În exemplul de mai jos, am prezentat un set de date mai generic, în care:

  • DQId identifică regula care a declanșat identificarea problemei,
  • următoarele 3 câmpuri asigură unicitatea (granularitatea de analiză) a clientului, în cazul nostru,
  • apoi vedem momentul identificării problemelor,
  • apoi avem toate coloanele pe care s-au făcut verificările DQ specifice regulii respective cu valorile găsite pe rândul (clientul) respectiv;
  • apoi semnalizarea stării Holded,
  • apoi coloana pentru care a fost identificată problema DQ, valoarea originală și valoarea recomandată.
Interfața Manual Correction Enrichment (exemplu pentru facturi vânzare & note aferente)

Permite corectarea și/ sau adăugarea de informații suplimentare la liniile de factură de vânzare și/ sau notele aferente în special în ceea ce privește asocierea dimensiunilor contabile (Cont/Sucursală/Departament/etc.).

Se salvează cine și când a efectuat corecția pentru eventuale analize ulterioare. Până la lansarea unei noi iterații de procesare post Manual Correction, se pot suprascrie în mod repetat corecțiile. Ultima corecție salvată rămâne valabilă.

Interfața de Manual Correction Enrichment este oferită de obicei echipei DQ.,centrala sau locala, nefiind de obicei necesara corectarea informatiilor din  ERP1.Comercial, ci doar „imbogatirea” cu proprietati suplimentare a informatiilor trimise catre ERP2.Financiar-Contabil.

Este folosită extensia Inphinity Form General cu o vizualizare normalizată, pentru maximul de flexibilitate în strucutura regulilor de DQ pentru MC.

Poate fi activ sau inactiv mecanismul de alertare via email.

Sistemul DQ.MC include și definirea de formule pentru recomandarea de valori de corecție, cu opțiunea de răspuns de repliere: “Unable to Recommend. Waiting for Human Input” in cazul in care nu se poate calcula o valoare recomandata automat.

 

Interfata QQdq.mc oferă :

  • tabelă filtrabilă cu informațiile despre tranzacțiile recente, cărora li se  recomandă intervenții de Enrichment prin Manual Corrections conform definițiilor din subregulile DQ.MC. ( neinclus in poza de mai jos);
  • obiect de corecție Inphinity Form General, cu opțiune de editare simultană de către membrii diferiți ai DQ Team. În dreapta sus, se poate vizuliza numărul și identitatea celor care editează. Rândul preluat spre editare de un utilizator este blocat spre editare pentru ceilalți utilizatori. Vezi in poza de mai jos!
Butoanele din debutul obiectului permit :
 
  1. resetarea valorilor la cele de dinante de orice corectie nesalvata (clear)
  2. salvarea valorilor editate aferente inregsitrarilor vizibile/selectate (save)
    (se pot face si corectari + salvari individuale sau pe tipologi de date asemenatoare)
  3. exportarea valorilor in Excel pentru reimport ulterior sau pentru alte utilizari (export)

Se pot identifica, mai sus, următoarele coloane și funcționalități:

  • coloane de identificare (KeyField1 & KeyField2, în cazul nostru);
  • câmpurile utilizate în evaluare cu valorile aferente pe fiecare rând cu probleme identificat (RecomandationFieldName);
  • conținutul recomandat în coloana RecommendedFieldValue;
  • coloana de editare, cu:
      • comutare între preluare valoare recomandată sau editare manuală prin micul buton pătrat cu logo fx sau un creion. Logica de comutare este evidențiată astfel:
          • modul preluare recomandare, care e implicit, este activ când este vizibilă iconița fx;
          • și modul editare este activ când este vizibilă iconița cu creionul.

pentru situațiile fx se vede că valoarea este încă identică cu cea recomandată, pe când pe rândurile cu iconița creion, valorile introduse au fost deja alterate.

  • coloana cu butoane de ștergere a rândului/rândurilor (probabil nenecesară);
  • coloana de completare observații (care, în partea de jos a obiectului, permite completarea o singură dată a unei observații și popularea, prin  apăsarea butonului de dedesubt, a tuturor rândurilor vizibile (selectate) la momentul respectiv cu afirmația completată în obiectul de input din josul coloanei;
  • coloane cu detalii despre cine și când a corectat (manual sau folosind valoarea implicită recomandată) ultima oară înregistrarea respectivă.
Interfața de inspectare Data Quality Dashboard

Oferă o sinteză operativă, referitoare la toate entitățile aflate la momentul curent în starea Holded (indiferent de regula DQ, tabel sursa sau  detalii specfice).

Sunt incluse și detalii despre persoana responsabilă de corectare (dacă nu e autocorectare, care practic nu trece înregistrări în starea Holded decât tranzitoriu) și vechimea de la intrarea în starea Holded a înregistrării respective.

Interfața de inspectare Data Quality Review

Oferă o perspectivă istorică, mai amplă, referitoare la toate entitățile care au trecut până la momentul curent în oricare dintre stările:

  1. Holded 
  2. Released
  3. Passed

(indiferent de regula DQ, tabel sursă sau  detalii specfice).

Sunt incluse, la nevoie, și detaliile istorice cunoscute despre regula care a declanșat alarma, valorile recomandate, metodologia de corecție (alertă/auto/manual), valorea finală corectată (dacă a fost deja făcută corecția), precum și observațiile din mecanismul de corecții manuale.

Sunt incluse și detalii despre persoana responsabilă de corectare, durata de remediere  și persoana care a efectuat cu adevarat corecția înregistrării  respective, (în ERP1.Comecial, sau în QQdq.mc, sau faptul că a fost o autocorecție).

Pentru soluții specifice și specializate de la QQinfo, clic aici: QQsolutions.
Pentru a fi în contact cu ultimele noutăți în domeniu, soluții inedite explicate, dar și cu perspectivele noastre personale în ceea ce privește lumea managementului, a datelor și a analiticelor, clic aici: QQblog !
Pentru informații despre Qlik™, clic aici: qlik.com.