Datamagazijn wordt datameer

De traditionele wereld van Business Intelligence is gebaseerd op het gebruik van data warehouses. Tijdelijke opslagsystemen – databases – voor verschillende soorten data die geschikt zijn gemaakt om analyses op uit te voeren. Deze datamagazijnen zijn geschikt om heel veel verschillende soorten data elk apart op te slaan en beschikbaar te stellen voor de betreffende analyses die men hierop los liet.

De data is vooraf gestructureerd om de antwoorden te kunnen krijgen die men uit die data wil halen. Hoeveel orders zijn uitgevoerd? Wat is de prijsontwikkeling van een grondstof? Wanneer moet de volgende bestelling plaatsvinden? Wat was de opbrengst van een reeks opdrachten die in een bepaalde periode was uitgevoerd? Data-warehouses zijn dus vooraf ingericht en geschikt gemaakt voor bepaalde van tevoren afgesproken berekeningen en analyses.

Met de komst van internet en social media bleken data warehouses beperkt bruikbaar om met ongestructureerde data te kunnen werken. Deze databronnen leverden geen gestructureerde datasets. Deze werden immers door vele verschillende programma’s en apps in allerhande formaten gegenereerd.

Analyse van ongestructureerde data vraagt een totaal andere aanpak en andere platformen om beschikbaar te zijn voor analyse. De wereld van Big Data creëerde de behoefte aan grote stuwmeren waarin men alle data kon opslaan en gebruiken, ongeacht de bron en de vorm. Data lakes kunnen dus op flexibele wijze alle soorten data – zelfs door elkaar – beschikbaar stellen.

Het derde platform
In de wereld van Big data is het vaak ook niet van tevoren bekend hoe men verzamelde data kan en wil gebruiken. En wil men allerlei soorten data verzamelen uit vele verschillende bronnen, inclusief proprietary databases, files, web-gebaseerde applicaties en social media. Het is vaak niet te voorzien welke data zinvol met elkaar moet worden gerelateerd, vergeleken, beoordeeld of gecombineerd. Kortom, in de nieuwe wereld van het derde platform en Big Data heb je weinig aan data warehouses.

In deze wereld zijn andere platformen voor flexibele en snelle databeschikbaarheid nodig. Platformen die zeer grote hoeveelheden verschillende data efficiënt kunnen opslaan, maar deze data tevens real time ter beschikking stellen voor data-analyse uit. Intelligentie uit grote hoeveelheden data halen vraagt grote dataverzamelingen waar men trends en modellen uit kan destilleren. Daarnaast vraagt het mogelijkheden om die data real time te beoordelen. Deze ‘real time’ toetsing is nodig om voorspellend te kunnen reageren op historisch bepaalde trends. Als ‘dit’ gebeurt dan zou ‘dat’ met een bepaalde waarschijnlijk kunnen gebeuren; de zogenaamde predictive analytics.

Ruwe data
In data lakes wordt data in de oorspronkelijke ruwe vorm bewaard, in tegenstelling tot datawarehouses, want daar moet de data vooraf bewerkt worden omdat het immers in een gedefinieerde vorm opgeslagen moet worden. Hierdoor kan en zal een deel van de oorspronkelijke data-inhoud vaak verdwijnen.

Met een data lake is dat te voorkomen omdat de data gewoon in ruwe vorm kan worden opgeslagen. Dan weet men zeker dat uit de ruwe data op geen enkele wijze informatie is verdwenen bij het verzamel en bewaarproces. Het kan ook zo zijn, dat men met de huidige analysetechniek een beperkte analyse kan doen van een set data. Maar wellicht is die techniek over een aantal jaar zo ver verbeterd dat er veel meer intelligentie uit die zelfde dataset kan worden gehaald, die men dan gelukkig nogmaals kan gebruiken.

Intelligentie
Data lakes zijn de nieuwe norm voor ‘derde platform’-processen: social media, mobiele apps en de cloud. Maar dat betekent niet dat gestructureerde data-omgevingen en de behoefte aan analyse in die gestructureerde wereld verdwenen zijn. De back-office van veel organisaties zal altijd gebruik blijven maken van gestructureerde data.

En het is eveneens een misvatting om te denken dat als je alle beschikbare data in een data-lake opslaat je hieruit dan ‘vanzelf’ veel informatie en intelligentie kunt halen. Moderne data-analysegereedschappen, zorgvuldig toegepaste datawetenschap en terdege vakmanschap is nodig om opgeslagen data in een data lake goed te kunnen gebruiken. Anders wordt het een grote kostbare opslagtank van niet (direct) bruikbare data. En dat is toch weer zonde van de investering…