Delta: voorbij het datawarehouse en datalake (1/2)

Datawarehouses, datalakes en datalakehouses hebben hun waarde bewezen, maar zijn vooral ontworpen voor analytische toepassingen. Het moderne datalandschap vraagt om meer: organisatiebrede metadata, transparante datastromen, herbruikbare transformaties, consistente regels, minder datakopieën en ondersteuning voor nieuwe toepassingen zoals AI. Dit artikel introduceert Delta, een federatieve, modulaire en netwerkgebaseerde enterprise data-architectuur die het volledige dataverwerkingslandschap omvat.

Vormen data-architecturen gebaseerd op datawarehouses, datalakes en datalakehouses de ideale basis voor het beantwoorden van de data-gerelateerde uitdagingen waar organisaties tegenwoordig voor staan? Het zijn immers in essentie domeinarchitecturen en geen enterprise architecturen. Organisaties hebben juist behoefte aan een data-architectuur die het volledige dataverwerkingslandschap omvat.

Organisaties worden geconfronteerd met een breed scala aan data-gerelateerde uitdagingen. Ze willen de ontwikkeling van systeem- en organisatieoverstijgende analyses, rapportages en datasciencemodellen versnellen en tegelijkertijd de transparantie van dataverwerking vergroten, zodat processen en beslissingen kunnen worden gereconstrueerd.

Ook willen ze meer inzicht krijgen in hun data: wat betekent de data, waar komt deze vandaan en hoe en waarmee is deze bewerkt? Daarnaast moet het eenvoudiger worden om data, applicaties, dashboards, definities en andere data-gerelateerde objecten te vinden en te hergebruiken. Steeds vaker moet het dataverwerkingslandschap bovendien een solide basis bieden voor uiteenlopende AI-toepassingen, waaronder generatieve AI en Agentic AI.

Analyse-architecturen bieden een deel van het antwoord

Analyse-architecturen die gebaseerd zijn op datawarehouses, datalakes en datalakehouses bieden een antwoord op een deel van deze uitdagingen. Ze zijn vooral sterk in het verzamelen, transformeren en gebruiksklaar maken van data voor uiteenlopende vormen van analyse. Andere uitdagingen vragen echter om een bredere benadering: een data-architectuur die niet alleen het analytische domein bestrijkt, maar het gehele dataverwerkingslandschap.

Dat geldt ook voor AI. Bestaande datawarehouse- en datalake-architecturen moeten aanzienlijk worden uitgebreid om AI effectief en verantwoord te kunnen ondersteunen. Organisaties hebben daarom behoefte aan een enterprise data-architectuur die samenhang brengt tussen bronsystemen, dataverwerking, analyses, metadata, regels en datagebruik. In dit artikel introduceer ik zo’n architectuur: de Delta data-architectuur.

Opmerking: in dit artikel gebruik ik de term analyse-architectuur als verzamelnaam voor data-architecturen die gebaseerd zijn op datawarehouses, datalakes en datalakehouses.

De waarde van de drie analyse-architecturen

Analyse-architecturen op basis van datawarehouses zijn voornamelijk gericht op het mogelijk maken van analyses en rapportages op gestructureerde data. Architecturen gebaseerd op datalakes zijn bedoeld voor datascience en andere experimentele analysevormen op zowel gestructureerde als ongestructureerde data. Het datalakehouse is geïntroduceerd om deze twee toepassingsgebieden te combineren. Een voordeel daarvan is dat brondata niet tweemaal hoeft te worden gekopieerd.

Alle drie hebben hun nut inmiddels bij veel organisaties bewezen, zeker het datawarehouse. Ze voorzien organisaties van data en helpen zo een aantal belangrijke problemen op te lossen, zoals:

• data ligt verspreid over meerdere systemen die met verschillende technologieën zijn ontwikkeld;
• data is niet consistent;
• data voldoet niet aan dezelfde definitie;
• diverse systemen houden geen datahistorie bij of doen dit niet volledig;
• niet alle data is volledig accuraat.

Zonder deze systemen is het ontwikkelen van analyses en rapporten complex en tijdrovend. Ze vervullen daarom een belangrijke rol bij het gebruiksklaar maken van data. Hoewel de drie architecturen dat op verschillende manieren doen, komt het in essentie op hetzelfde neer: data wordt uit bronsystemen opgehaald, opgeslagen en verwerkt, soms via aanvullende kopieerslagen, en uiteindelijk beschikbaar gesteld.

Overvloed aan datawarehouses en datalakes

In het ideale geval beschikt een organisatie over één analyse-architectuur, maar zeker bij grotere organisaties is dat vaak niet het geval. Om uiteenlopende redenen beschikken zij over meerdere datawarehouses en datalakes.

Deze systemen zijn vaak onvoldoende op elkaar afgestemd. Dat leidt tot duplicatie van data en functionaliteit, bijvoorbeeld voor het opbouwen van datahistorie en het corrigeren van data. Ook moeten kopieerprocessen op meerdere plaatsen worden ontwikkeld en beheerd. Hierdoor wordt het moeilijker om de consistentie van data en resultaten te garanderen.

Een ander bekend probleem ontstaat wanneer de structuur, waarden of definities van brondata wijzigen zonder dat dit wordt afgestemd met de verantwoordelijken voor de implementaties van de analyse-architecturen. ETL-programma’s kunnen daardoor falen.

Het is echter ernstiger wanneer de programma’s wel blijven functioneren, terwijl niet wordt opgemerkt dat de gekopieerde data niet correct is en dat de gebruikte data niet conform de veronderstelde definitie is. Zeker wanneer meerdere van dergelijke implementaties naast elkaar bestaan, wordt dit een groot probleem.

Data-gerelateerde uitdagingen

Het dataverwerkingslandschap van organisaties wordt steeds omvangrijker en complexer. Er komen voortdurend nieuwe bronsystemen bij voor de invoer en het beheer van brondata, analysesystemen voor het creëren van inzichten en transformatorsystemen om brondata gebruiksklaar te maken voor analysesystemen. Tegelijkertijd groeit de behoefte aan koppelingen tussen al deze systemen en met systemen van externe partijen. Ook nemen zowel de hoeveelheid als de diversiteit van de beschikbare data steeds verder toe.

De reden daarvoor is eenvoudig: organisaties willen steeds meer met data doen. Ze willen data breder, efficiënter en effectiever inzetten om bedrijfs- en beslissingsprocessen te verbeteren.

In het begin van dit artikel zijn al enkele uitdagingen genoemd. Hieronder volgt een completer overzicht:

• versnellen van de ontwikkeling van systeem- en organisatieoverstijgende analyses, rapportages en datasciencemodellen;
• beschikbaar stellen van brondata aan andere interne en externe systemen om synchronisatie- en consistentieproblemen te minimaliseren;
• dedupliceren van functionaliteit om onderhoudbaarheid en consistentie van resultaten te verbeteren;
• vergroten van de transparantie van dataverwerking voor het reconstrueren van processen en beslissingen;
• verbeteren van de vindbaarheid van data, applicaties, dashboards, definities en andere data-gerelateerde objecten voor productiviteit en herbruikbaarheid;
• verbeteren van het inzicht in data: wat betekent de data, waar komt deze vandaan en hoe en waarmee is deze bewerkt?
• vervangen van data-uitwisseling door datadeling om het aantal datakopieën te verminderen;
• vereenvoudigen, saneren en wendbaarder maken van het gehele dataverwerkingslandschap;
• verbeteren van de datakwaliteit, onder meer door gebruikers daarbij te betrekken en het aantal datakopieën te verminderen;
• versterken van databeveiliging en privacybescherming;
• uitbreiden van datahistorie door deze dicht bij de bron op te slaan voor tijd- en trendanalyses en reconstructiedoeleinden;
• leggen van een basis voor een breed scala aan AI-toepassingen, zoals generatieve AI en Agentic AI;
• opslaan en verwerken van zowel gestructureerde data als video, tekst en beelden;
• inzetten van nieuwe technologie om onder meer productiviteit en onderhoudbaarheid te verbeteren en de architectuur te vereenvoudigen.

Belang van een enterprise data-architectuur

Om grip te houden op dit steeds complexere landschap en ervoor te zorgen dat deze wensen worden gerealiseerd, is een organisatiebrede enterprise data-architectuur onmisbaar.

Een enterprise data-architectuur richt zich op een organisatie als geheel en beschrijft hoe data organisatiebreed wordt ingevoerd, geïntegreerd, gebruikt, beheerd en beveiligd. Het doel van deze integrale benadering is processen, systemen en datadomeinen optimaal op elkaar af te stemmen en zo een samenhangend dataverwerkingslandschap te realiseren.

Een enterprise data-architectuur beschrijft daarom het gehele landschap en niet slechts een deel ervan.

Van lineaire naar netwerkgebaseerde data-architecturen

Veel analyse-architecturen zijn lineair. Een lineaire architectuur kan worden weergegeven als:

Systeem 1 → Systeem 2 → Systeem 3

Data stroomt bijvoorbeeld van bronsystemen via datawarehouses naar analysesystemen. Deze lineaire eigenschap van de drie architecturen representeert het huidige dataverwerkingslandschap echter steeds minder goed. Ze is een oversimplificatie van de werkelijkheid.

Figuur 1: Een lineaire versus een netwerkgebaseerde data-architectuur.

Ten eerste zijn data-architecturen in de praktijk steeds vaker cyclisch:

Systeem 1 → Systeem 2 → Systeem 3 → Systeem 1

Dit cyclische karakter komt veel vaker voor dan traditionele architectuurplaatjes suggereren. Analysesystemen kunnen immers data produceren die vervolgens weer in bronsystemen wordt gebruikt. Denk bijvoorbeeld aan datascience- of AI-oplossingen die voorspellende modellen, classificaties of nieuwe data genereren die weer nodig zijn voor bronsystemen.

Maar eigenlijk gaat het nog verder. Wat steeds vaker nodig is, zijn netwerkgebaseerde data-architecturen: architecturen waarin data van elk systeem naar elk ander systeem kan stromen. Een netwerkgebaseerde architectuur laat zich bijvoorbeeld weergeven als:

Systeem 1 ↔ Systeem 2 ↔ Systeem 3 ↔ Systeem 4 ↔ Systeem 2

Daarbij zijn allerlei verbindingen tussen systemen mogelijk; zie figuur 1.

Bronsystemen kunnen data opvragen bij andere bronsystemen, analysesystemen kunnen data van elkaar gebruiken en bronsystemen kunnen analysesystemen aanroepen. Er is niet langer één voorgeschreven datastroom, maar een netwerk van mogelijke datastromen.

Een organisatie heeft daarom behoefte aan een cyclische, netwerkgebaseerde data-architectuur die het complexe dataverwerkingslandschap beter weerspiegelt.

In de volgende aflevering ga ik in op de vier hoofdonderdelen waaruit de Delta data-architectuur bestaat.

Opmerking: voor meer informatie over de Delta data-architectuur verwijs ik naar mijn boek “De Delta data-architectuur: van bron tot inzicht” en naar andere gepubliceerde artikelen over Delta alsmede het gelijknamige seminar bij Adept Events.