QUIPU4 Model Delta Detector-module

QUIPU4 is een platform dat model-naar-modelconversie ondersteunt. Dit is waar het product zich onderscheidt van gangbare ETL-tools en andere datawarehouse-automatiseringstools. Deze tools werken doorgaans goed bij het transformeren en manipuleren van data op entiteit- of attribuutniveau, maar missen de ondersteuning voor het definiëren en ontwikkelen van transformaties op modelniveau. Het is op dit hogere niveau dat patronen kunnen worden gevonden en toegepast en dus kunnen worden gegenereerd. Waarbij nog steeds de uitzonderingen op deze patronen op entiteit- of attribuutniveau kunnen worden gespecificeerd. Dit levert volgens QOSQO een veel efficiëntere manier op om snel nieuwe data solutions te ontwikkelen.

Modelwijzigingen
Datamodellen evolueren in elke omgeving. Omgaan met wijzigingen in deze structuren vraagt een balans tussen overzicht en detail. QUIPU4 biedt een module, Model Delta Detector-module, die deze wijzigingen kan destilleren en vervolgens kan presenteren in het vereiste formaat. De module en de output stellen je in staat om op een efficiënte, gestructureerde manier met deze wijzigingen om te gaan.

De Model Delta Detector-module
Model Delta Detector gebruikt twee versies van hetzelfde datamodel. De module gebruikt een “referenced data model” als basis, vaak de voorgaande versie van het datamodel. Hierna wordt het “compared data model” uit de repository opgehaald, vaak de huidige versie van het datamodel. Deze versies worden vervolgens met elkaar vergeleken.
Het is overigens mogelijk om te tijdreizen en elke versie van het datamodel op te halen en deze te vergelijken met elke andere versie van het datamodel. Zoals hieronder weergegeven in het blauwe vierkant.



De module detecteert wijzigingen op entiteitniveau, inclusief constraints en relations, en op attribuutniveau, inclusief de plekken waar deze attributen worden gebruikt in constraints en relations.

Output genereren
Alle wijzigingen worden in één dataset opgenomen. Door het gebruik van een template kan deze dataset worden omgezet naar elk gewenst formaat. QUIPU4 biedt hiervoor twee basistemplates (HTML en JSON), maar het is mogelijk deze templates aan te passen of nieuwe templates te maken. Zie hieronder in het blauwe vak de optie een willekeurig template te kiezen.




Het genereren van de output start door de Model Delta Detector-module uit te voeren.

HTML-output
De HTML-template beschrijft een overzicht dat geplaatst kan worden op een intranet of verstuurd kan worden naar analisten of gebruikers.
De output begint met een telling van alle wijzigingen en benoeming van de vergeleken versies van het datamodel, menuoptie “Summary”.






De menuoptie “Entities” geeft een samenvatting van de wijzigingen op entiteitniveau. Elke wijziging is gecategoriseerd in:
- “added”: bestaat in het “compared data model”, maar niet in het “referenced data model”
- “changed”: bestaat in beide datamodellen, maar minstens één eigenschap is gewijzigd (bijvoorbeeld het datatype van een attribuut of de positie van het attribuut in een index)
- “deleted”: bestaat niet in het “compared data model”, maar wel in het “referenced data model”

Tot slot kan een gedetailleerde lijst van wijzigingen per entiteit gevonden worden door de betreffende entiteit uit de lijst te selecteren. De wijzigingen zijn ook hier gecategoriseerd zoals hierboven, maar hebben per categorie ook een kleur (“added” is groen, “changed” is blauw en “removed” is rood).

JSON-output
De output van de JSON-template kan worden gebruikt om de wijzigingen geautomatiseerd te verwerken in het datawarehouse.
De wijzigingen worden op entiteit- en attribuutniveau uit de dataset aangeboden. Hierdoor ontstaat redundantie in de dataset, maar dit maakt het verwerken makkelijker omdat bijbehorende gegevens niet opgezocht hoeven worden. “CMP” refereert het “compared data model” en “REF” het “referenced data model”. Zie hieronder het voorbeeld:

Conclusie
Zoek je een beknopt overzicht van wijzigende datamodellen? Wil je weten wat er met dat ene attribuut is gebeurd? Gebruik de Model Delta Detector-module om snel je antwoord te vinden! Het is nu mogelijk om rapportages over wijzigingen in datamodellen te genereren of deze wijzigingen geautomatiseerd te verwerken!

Neem contact op!
Neem contact met ons op als je feedback wilt geven, QUIPU4 wilt proberen of simpelweg over QUIPU4 wilt praten! Je kunt ons vinden via info@quipu.nl of onze website.