Data Warehouse Automation, just do it?

Donderdag 22 oktober bezocht ik op het Europese hoofdkantoor van Nike in Hilversum een event van WhereScape. Deze leverancier van Data Warehouse Automation software had een inspirerend event samengesteld met een testdrive, klantcases en presentaties van industrie experts. Nu heb ik zelf geen ervaring met WhereScape, maar wel met Kalido, een andere Data Warehouse Automation tool. Daar maakte ik iets meer dan tien jaar geleden bij een van mijn klanten mee kennis. Ik was destijds meteen enthousiast, maar kwam Kalido, of vergelijkbare software, bij mijn andere klanten helaas niet tegen. En ik hoorde er in Nederland destijds ook weinig over.

De laatste jaren hoor ik wel weer meer over Data Warehouse Automation. Vermoedelijk wordt dat mede veroorzaakt door de sterke opkomst van Data Vault, een ‘datamodelerings’methode die zich, met zijn vaste patronen, bij uitstek leent om veel te automatiseren. Vragen die met deze groeiende aandacht voor Data Warehouse Automation, en de software hiervoor, naar voren komen zijn: Welke voordelen biedt Data Warehouse Automation? Wanneer is het voor een organisatie interessant om met Data Warehouse Automation software aan de slag te gaan? En waar moet je op letten bij de aanschaf van dergelijke software?
 
Agile Business Intelligence...
Doordat Business Intelligence tools steeds laagdrempeliger en gebruiksvriendelijker zijn geworden, is de benodigde ontwikkeltijd voor het maken van een rapport, dashboard of analytische applicatie steeds korter geworden. En dat is maar goed ook, want de behoefte aan nieuwe inzichten neemt binnen onze informatiegedreven organisaties almaar toe. De uitdaging om snel nieuwe informatie te ontsluiten en deze te integreren met bestaande gegevens betekent echter ook dat er meer druk komt te staan op het data warehouse. Deze vormt namelijk vaak de bron van de gestructureerde, geïntegreerde en gehistoriseerde gegevens die de Business Intelligence tools ontsluiten. En daar zit dan vaak de bottleneck. Veel data warehouses hebben een te lange ontwikkeltijd nodig en zijn daarna bovendien erg moeizaam aan te passen en uit te breiden. Met andere woorden: waar we aan de front-end kant redelijk agile kunnen werken, is er aan de back-end kant nog een wereld te winnen.
 
… vraagt om Agile Data Warehousing ...
Door automatisering van grote delen van het ontwikkelproces, realiseer je met de inzet van Data Warehouse Automation tools een substantiële verkorting van de initiële ontwikkeltijd en de doorlooptijd van daaropvolgende changes. Ze automatiseren de ontwikkeling door het genereren van code voor het aanmaken en wijzigen van tabellen en voor het laden en transformeren van de data. Deze automatisering leidt ertoe dat er minder handmatige werkzaamheden plaatsvinden. En dat komt de consistentie en kwaliteit van het data warehouse ten goede. Daarnaast bieden ze ook impactanalyse en change management functionaliteit waardoor het veel gemakkelijker wordt om verschillende oplossingsrichtingen te verifiëren en al prototypend tot de beste oplossing te komen. Agile Business Intelligence komt daarmee dan binnen handbereik.
 
... ondersteund door Data Warehouse Automation software
Er zijn op dit moment verschillende leveranciers van Data Warehouse Automation software op de markt. WhereScape, Kalido, Attunity Compose (voorheen BIReady), Timexpander en het Nederlandse Quipu zijn de bekendste voorbeelden op dit gebied. Tussen de tools van deze leveranciers zitten enkele duidelijke verschillen. Er is verschil tussen welke datamodeleringmethoden (derde normaalvorm, Data Vault en sterschema)  en welke database platformen (Oracle, SQL Server, Teradata, Db2 etc.) ze ondersteunen en tussen wat ze wel of niet automatiseren (extraheren, laden, transformeren, tabelgeneratie, documentatie, scheduling en generatie van front-end zaken zoals cubes en semantische lagen). Een ander onderscheid tussen de tools is dat sommige van deze tools standaard SQL en scriptingtaal gebruiken die zelf te inspecteren of te wijzigen is, waar anderen werken als een black box en er alleen binnen de tool inspectie en wijziging plaats kan vinden.

Just do it?
De beste aanpak is dan ook om van tevoren de randvoorwaarden en requirements voor een dergelijke nieuwe tool op papier te zetten. Daarmee kun je een gedegen keuze maken voor de tool die voor jouw organisatie het meest geschikt is. Via een proof of concept met een (of meerdere) van de geselecteerde tools kun je vervolgens in detail vaststellen in hoeverre de tool aan de requirements voldoet. Met een beperkte investering, en de leveranciers helpen je daar vaak graag bij, kun je daarmee al ervaring met de tool(s) opdoen en is eventuele weerstand die in de organisatie aanwezig is wegnemen.
 
Aan sommige van deze Data Warehouse Automation tools hangt wel een behoorlijk prijskaartje. Daarnaast kost het voor je organisatie ook tijd om de nieuwe tool onder de knie te krijgen en te bepalen hoe ze de tooling het beste kunnen inzetten. Want het is natuurlijk maar de vraag hoe eenvoudig het is om de nieuwe tool naast de bestaande tools in te zetten. Voor nieuwe functionaliteit zal dat niet zo’n issue zijn, maar de vraag is wel of de tool kan hergebruiken wat er al gebouwd is. Een goede aanpak daarbij is om stapje voor stapje, bijvoorbeeld als onderdeel van grotere wijzigingen die plaats moeten vinden, de bestaande functionaliteit vervangen door de nieuwe tool. Dit om het maximale rendement tegen de minst mogelijke kosten te realiseren, en om te leren van iedere stap die genomen wordt. Want als een organisatie, door de inzet van deze tooling, kan besparen op ontwikkel- en ETL-licentiekosten en tevens door deze tooling meer Agile kan opereren, dan is de business case zeker te maken.