Consumentgericht IT-landschap vraagt om multimodel dataplatform

Ooit was een apart tijdschrift over database technologie met succes te exploiteren. Doordat organisaties overstapten naar standaard software, nam de belangstelling voor de techniek van de achterliggende database af. Tegelijk met de applicatie koop je nu een database management systeem van een bepaald merk of structuur. Daar moeten de betrokken applicatiebeheerders het mee doen. Database administrators of systeemontwerpers met eigen database voorkeuren leken een uitstervend ras. Een tweede leven ligt voor hen in het verschiet; consumentgerichte IT schreeuwt om een multimodel dataplatform. Er valt weer iets te kiezen.

SQL-databases, geleverd door markt-dominerende partijen, zijn inmiddels de facto standaard in het doorsnee applicatielandschap van ERP, CRM, HRM, PDM en PLM oplossingen. De data uit al die applicaties laat zich goed gestructureerd via SQL opslaan en terughalen. Dat ligt anders nu onder invloed van consumenten IT, social media toepassingen en apps voor e-commerce of andere doeleinden moeten acteren binnen het IT-landschap van bedrijven. Ongestructureerde data stroomt daarmee de databases binnen. De SQL-structuur met rijen voor de diverse records en de kolommen met informatie over de records blijkt niet langer toereikend. De IT-afdeling moet zich weer intensief gaan bemoeien met een selectie van databases, de zogeheten NoSQL varianten, die meer toegangstructuren ondersteunen dan SQL.

Relationele theorie niet zaligmakend

Overigens had de gevestigde IT-orde al eerder ervaren dat SQL-databases lang niet altijd zaligmakend zijn. De relationele theorie achter de technologie verzet zich bijvoorbeeld tegen het meermalig voorkomen van eenzelfde, enkelvoudig data element binnen de totale gegevensverzameling. Daarentegen zijn meervoudige data elementen reuze handig bij het doorspitten van een datawarehouse , waaruit veel business intelligence (BI) applicaties hun gegevens halen. De gezochte informatie laat zich veel sneller vinden wanneer die meer malen in de verzameling voorkomt. Door het ad-hoc karakter van de gebruikersinteractie wijkt een BI-omgeving sterk af van de procesgedreven, transactiegeoriënteerde ERP-systemen. Veel organisaties handhaafden daarom een strikte scheiding tussen BI en operationele IT. Ook die opdeling is niet langer gewenst. Data uit operationele systemen en data voor besluitvorming willen we kunnen combineren. Ondernemingsbestuurders vroegen zich al eerder af waarom ze niet op een google-achtige wijze relevante informatie uit hun bedrijfsdatabases konden halen. Zij verwelkomen de cloud als de snelste route naar het vernieuwen van de bedrijfsvoering. De 24-uurs economie vereist dat op elk moment en vanaf elke plek informatie van zowel externe als interne bronnen is te raadplegen. 

De nieuwe applicaties uit de cloud genereren ook data die we willen combineren met data uit bestaande on-premise systemen. Bij laatstgenoemde hebben we de interoperabiliteitvraagstukken in gedistribueerde omgevingen redelijk onder de knie. Het veilig delen van data tussen cloud- en on- premise omgevingen voor gemeenschappelijke operationele doeleinden vormt soms nog een uitdaging, zeker als het real-time moet. Al langer voeren bedrijven analyses uit direct op de operationele data, zonder tussenkomst van een datawarehouse. Daarmee besparen ze op capaciteit en systeembronnen, die voorheen werden aangewend om in een tijdrovend proces een datawarehouse op te bouwen en deze daarna via batchprocedures in de nachtelijke uren te updaten. Het resultaat van de real-time analyses laat operationele managers onmiddellijk beslissen over het opstarten,  afbreken, dan wel bijsturen van processen. Zo kan het voor de bedrijfsprestaties van vitaal belang zijn dat stamgegevens (masterdata) frequent op validiteit worden gecontroleerd. Daarvoor moet misschien ook historische data bij de analyse worden betrokken. Real time datamanipulatie in een complex hybride IT landschap ten behoeve van de operationele besluitvorming is geen sinecure. Het proces wordt aangeduid als HTAP (hybrid transactional/analytical processing) en strekt zich uit over alle vormen van IT binnen een organisatie en alle varianten in data (gestructureerd en ongestructureerd), afkomstig uit verschillende databases (relationeel en NoSQL).    

Schaalbaarheid voor data aanwas na 2020

Wie de kosten en complexiteit van het beheer van uiteenlopende databasemanagement systemen wil voorkomen, zoekt naar een gemeenschappelijk databaseplatform. Dat dient naast SQL ook de in de internetwereld populaire opslagstructuren als XML en JSON te ondersteunen. Gestructureerd en ongestructureerd, foto’s, video, audio, X-rays, clickstream en smartmeter data, grafische beelden, Doppler radar beelden en sensorsignalen: hoe mooi zou het niet zijn wanneer deze verschillende datatypen  zich via één platform laten beheren en bewerken? En de tijd dringt. Onderzoeksbureau IDC voorspelt dat wereldwijd de verzameling aan digitale data is opgelopen tot de astronomische waarde van 44 zettabytes, oftewel 44 biljoen gigabytes (getal met 21 nullen). Schaalbaarheid, zeker niet de sterkste kant van veel SQL-databases, is er bij diverse multimodel databases vanaf het begin ingebakken. Dat is geen overbodige luxe.  Wie weet hoe snel de hoeveelheid mondiale data na 2020 dupliceert? Leveranciers van NoSQL werden tot voor kort beoordeeld als nichespelers. Het draagvlak voor het multimodel dataplatform verbreedt en kleine partijen met toegespitste  technologie gaan richting geven aan de noodzakelijke innovatie in het landschap van IT-voorzieningen.