Datavirtualisatie gebruikersgroep deelt praktijkervaringen

De Nederlandse datavirtualisatie gebruikersgroep organiseerde in oktober zijn eerste bijeenkomst bij ProRail in Utrecht. De doelstelling van deze bijeenkomst was het delen van praktijkervaringen, do's, don'ts en tips die gebruikers van datavirtualisatie de afgelopen tijd hebben opgedaan.

Datavirtualisatie is een technologie om op flexibele wijze gegevensbronnen te ontsluiten en te integreren. Het wordt onder andere ingezet om een 360-graden beeld van klanten samen te stellen, logische datawarehouses en logische data lakes te ontwikkelen, data snel te democratiseren en data services te ontwikkelen voor bijvoorbeeld mobile apps. De aanwezige organisaties kwamen uit verschillende sectoren, zoals financiële dienstverlening, transport, overheid, beveiliging en zorg. Er waren gebruikers van Denodo, RedHat en Tibco, de datavirtualisatieproducten die op dit moment in Nederland gebruikt worden.

Tijdens de eerste bijeenkomst van de gebruikersgroep kwamen de volgende ‘lessons learned’ overduidelijk naar voren:
• Het inzetten van datavirtualisatie vraagt om duidelijke ontwerprichtlijnen die strak gehandhaafd worden om te voorkomen dat het flexibele karakter van de technologie leidt tot chaos. Deze richtlijnen hebben te maken met welke functionaliteit terechtkomt in welke laag met virtuele tabellen en ook met of die virtuele lagen genormaliseerd of niet moeten worden.
• Zet datavirtualisatie initieel in om nieuwe rapportage- en analytische wensen te implementeren en niet zozeer bij vervanging van het ‘oude’ datawarehouse. De ROI daarvan is vaak lastig vooraf te bepalen. Dit zijn exercities die later uitgevoerd kunnen worden wanneer datavirtualisatie al zijn waarde heeft getoond.
• Voer tijdens het selectieproces een proof of concept uit die representatief is voor de complexiteit van de gewenste situatie. Staar je bij het kiezen voor een PoC niet blind op use cases die van toepassing zijn op het datawarehouse, maar kijk breder.
• Werk samen met de leverancier van het product. Deze heeft diepgaande kennis en weet hoe het product onder de motorkap werkt. Bij de initiële setup van het product komt assistentie altijd goed van pas.
• Zorg ervoor dat de organisatie het verschil begrijpt tussen een logisch datawarehouse en het traditionele (fysieke) datawarehouse. Geef desnoods het nieuwe systeem een andere naam, zonder de term datawarehouse.
• Streef naar query pushdown. Zorg er in het ontwerp en de inrichting voor dat de onderliggende database servers zoveel mogelijk query processing uitvoeren.
• Stel duidelijke richtlijnen en standaarden op voor het gebruik van caches om te voorkomen dat er wildgroei ontstaat van gecachete virtuele tabellen.
• Zorg dat het ontwikkelteam alle benodigde expertise bezit. Zo loop je bij de start van het project minder vertraging op door miscommunicatie met andere groepen.
• Wees waakzaam bij het gebruik van analysetools die slechts over beperkte mogelijkheden beschikken voor query pushdown. Daardoor zijn ze niet op hun sterkst als je een datavirtualisatieproduct plaatst tussen de database server en de analysetool.

Ondanks dat er in de markt bij sommigen nog enige scepsis bestaat over de toepasbaarheid van datavirtualisatie, waren de aanwezige organisaties het erover eens dat datavirtualisatie werkt en levert wat het belooft.

De gebruikersgroep wordt georganiseerd door onafhankelijk analist Rick F. van der Lans samen met Kadenza. Van der Lans houdt zich al jaren met datavirtualisatie bezig en zijn publicaties en lezingen hebben fors bijgedragen aan de acceptatie van datavirtualisatie in de markt.
De volgende bijeenkomst van de datavirtualisatie gebruikersgroep staat gepland in januari/februari 2019.