De interesse voor big data heeft geleid tot een explosie van nieuwe producten voor gegevensopslag en -verwerking. Maar buiten het feit dat er veel nieuwe producten bijgekomen zijn, is er nog iets anders veranderd, iets dat sommigen misschien ontgaan is. Veel van de nieuwe databaseservers zijn specialistische en geen generieke producten. Dit heeft effect op hoe en waar ze in, bijvoorbeeld, BI- of operationele systemen ingezet kunnen worden.
Maar laten we bij het begin beginnen. Het zal niemand ontgaan zijn dat er de laatste jaren veel databaseservers bijgekomen zijn. Werd tien jaar geleden de markt nog gedomineerd door bekende SQL-producten van IBM, Microsoft en Oracle, tegenwoordig bestaan er NoSQL-databaseservers, Hadoop-gebaseerde platformen, streaming databaseservers, graph databaseservers en databaseservers die maximaal gebruik maken van GPU’s. De bekende SQL-databaseservers zijn generieke databaseservers. Ze zijn inzetbaar voor een breed scala aan toepassingen. Ze kunnen ingezet worden in, bijvoorbeeld, transactionele systemen, BI-systemen waar de nadruk ligt op rapporten en analyses en in websites. Ze zijn generiek. Dit betekent dat ze voor veel toepassingen geschikt zijn, maar nergens echt in uitblinken.
De meeste nieuwe databaseservers daarentegen zijn specialistische producten. Ze zijn ontwikkeld om een of twee toepassingen zeer goed te ondersteunen. Bijvoorbeeld, graph databaseservers, zoals AllegroGraph en Neo4j zijn speciaal ontwikkeld voor graph analytics en zijn daar dus ook erg sterk in. Producten als Apache HBase en MongoDB zijn geoptimaliseerd voor transactionele systemen waar de noodzaak voor dynamische databasestructuren groot is en waar gewerkt kan worden met eventual consistency voor transactiebeheer. Maar voor het analyseren van data zijn dit soort producten ronduit zwak. Dit geldt trouwens voor veel vergelijkbare NoSQL-producten: zeer sterk in transacties en zwak in analyses. Daarnaast bestaan er producten als MarkLogic en InterSystems Caché die elk weer hun eigen toepassingsgebieden hebben. Tenslotte, GPU-databases als MapD en Kinetica zijn speciaal ontwikkeld voor zware complexe analyses van gestructureerde big data.
Kortom, de markt van databaseservers is drastisch veranderd: van generieke naar specialistische producten. Dit betekent dat organisaties in detail moeten weten wat de karakteristieken van hun toepassingen zijn plus moeten zij weten wat de eigenschappen zijn van die producten zijn en dan de beste match zien te vinden. Dit vereist veel diepgaande kennis van de producten en van de toepassingen.
Helaas moet geconstateerd worden dat dit al diverse malen fout gegaan is. Organisaties hebben producten aangeschaft die geheel niet bij hun toepassingen pasten met als consequentie dat systemen opnieuw gebouwd moesten worden.
Bij het opzetten van BI-systemen moet dus ook aandachtig bestudeerd worden welke van deze nieuwe producten waar gebruikt kunnen worden? Waar kunnen bijvoorbeeld oplossingen zoals Kafka en streaming databases goed ingezet worden en wanneer is Spark nuttig? En hoe voorkomen we dat al deze nieuwe technologieën geïsoleerde oplossingen worden die weinig tot niet geïntegreerd zijn met het huidige BI-systeem? Het algemene advies is, bestudeer in detail wat de mogelijkheden en het primaire toepassingsgebied van een product zijn en bepaal dan waar en hoe deze ingezet kan worden in een BI-systeem.
Opmerking: Dit onderwerp zal uitgebreid besproken worden tijdens de DW&BI Summit 2018.
2 maart 2021 (online seminar op 1 ochtend) Cloud Native technologieën als FaaS (Function-As-A-Service), Cloud Native messaging en Serverless API Management zijn belangrijke bouwstenen voor een nieuwe generatie van integratie-architecturen. ...
8 - 12 maart 2021 [5 halve dagen online]Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelij...
23 en 24 maart 2021 Het Logical Data Warehouse, een door Gartner geïntroduceerde architectuur, is gebaseerd op een ontkoppeling van rapportage en analyse enerzijds en gegevensbronnen anderzijds. Een flexibelere architectuur waarbij sneller nieuwe ge...
14 en 15 april 2021 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoord ...
20 april 2021 (online seminar op 1 ochtend)Praktische workshop met Rogier Werschkull over cloud datawarehousing.Wat zijn de voor- en nadelen van Cloud Datawarehousing en hoe pak je dat aan? Tijdens deze online sessie van een halve dag door expert Ro...
22 april 2021 (online seminar op 1 ochtend) Iedere organisatie heeft te maken met het integreren van systemen en applicaties. Maar hoe worden integratieprocessen en informatiestromen nu werkelijk geautomatiseerd? En hoe pakt u dit op een efficië...
18 mei 2021 Praktische workshop Datavisualisatie en Data-driven Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling, data science en de data artist? Lex Pierik behandelt de stromi...
19 en 20 mei 2021 Correcte informatie die in de juiste vorm en op het gewenste moment beschikbaar is lijkt een vanzelfsprekendheid. Dit doel kan alleen worden bereikt met een consequent beleid, dat doordacht alle fases van de levenscyclus van informa...
Deel dit bericht