Model-naar-modelconversie met QUIPU4

QUIPU4 is een platform dat model-naar-modelconversie ondersteunt. Dit is waar het product zich onderscheidt van gangbare ETL-tools en andere datawarehouse-automatiseringstools. Deze tools werken doorgaans goed bij het transformeren en manipuleren van data op entiteit- of attribuutniveau, maar missen de ondersteuning voor het definiëren en ontwikkelen van transformaties op modelniveau.

Het is op dit hogere niveau dat patronen kunnen worden gevonden en toegepast en dus kunnen worden gegenereerd. Waarbij nog steeds de uitzonderingen op deze patronen op entiteit- of attribuutniveau kunnen worden gespecificeerd. Dit levert volgens QOSQO een veel efficiëntere manier op om snel nieuwe data solutions te ontwikkelen.

Lineage
Lineage is een veelbesproken onderwerp in de datawarehousewereld en wordt gezien als een belangrijk instrument. Het toont hoe data ontstaat, hoe data wordt bewerkt en vervolgens waar die data naartoe stroomt. Lineage wordt voornamelijk gebruikt om foute bewerkingen op te sporen of om een impactanalyse uit te voeren als wijzigingen in datastructuren door het datawarehouse moeten worden verwerkt. De lineagevisualisatie van QUIPU4 ondersteunt analyse op zowel entiteit- als attribuutniveau.

De lineagevisualisatie gebruiken
De lineagevisualisatie start met het selecteren van een datamodel. Na het selecteren van het datamodel wordt een lijst van entiteiten getoond, zoals hieronder.

Vanuit deze lijst kun je entiteiten op het canvas slepen. Dit opent functionaliteit om te zoeken naar voorliggende of achterliggende entiteiten waar respectievelijk data vandaan komt of naartoe gaat. Hover over een attribuut om de lineage te bekijken, zoals je hieronder kunt zien voor het attribuut “Name”.

In dit geval toont de metadata het gebruik van een expression, die aangeeft via welke weg de ETL wordt uitgevoerd. In QUIPU4 is een expression de mogelijkheid om handmatig code toe te voegen (zoals berekeningen toevoegen, functies aanroepen of zelfs externe programma’s met parameters uit te voeren). In dit geval is de expression:
DtExec.exe 'D:\DataWarehouse\SSIS\LoadDataSet.dtsx' 'EmployeeDepartmentHistory', voor de kenner het uitvoeren van een SQL Server Integration Services package.

De “Description” voegt een samenvattende beschrijving toe, handig voor analyse om snel de hoofdpunten van deze databewerking te begrijpen.

In sommige gevallen wil je graag de details van een entiteit of attribuut zien. Door te dubbelklikken op de entiteit zal het datamodel openen en deze entiteit met haar attributen, relations en constraints laten zien. Het onderstaande voorbeeld toont de entiteit “Shift”.

Conclusie
Het gebruik van de lineagevisualisatie in combinatie met het toevoegen van extra metadata en documentatie bij het datamodel maakt het mogelijk om snelle, overzichtelijke analyses in QUIPU4 uit te voeren.

Neem contact op
Neem contact met ons op als je feedback wilt geven, QUIPU4 wilt proberen of simpelweg over QUIPU4 wilt praten! Je kunt ons vinden via info@quipu.nl of onze website www.quipu.nl. We horen graag van je!