Dit jaar was het glashelder op de Strata Conference in San Jose in Californië: De strijd tussen de SQL-on-Hadoop engines is losgebarsten. Veel bestaande en nieuwe leveranciers toonden daar trots hun implementatie op de beursvloer en daarnaast waren veel sessies aan dit onderwerp gewijd.
Zo populair als NoSQL vorig jaar was, zo populair is SQL-on-Hadoop op dit moment. Enkele van de vele implementaties zijn: Apache Hive, CitusDB, Cloudera Impala, ConcurrencyLingual, Hadapt, InfiniDB, JethroData, MammothDB, MapR Drill, MemSQL, PivotalHawQ, ProgressDataDirect, ScleraDB, Simba en SpliceMachine.
Naast deze implementaties moeten eigenlijk ook alle datavirtualisatie-producten genoemd worden. Deze producten zijn ontworpen om allerlei soorten gegevensbronnen (waaronder Hadoop) te benaderen en om gegevens vanuit verschillende gegevensbronnen te integreren. Voorbeelden zijn Cirro, Cisco/Composite, Denodo, Informatica IDS, RedHat JBoss Data Virtualization en Stonebond.
Natuurlijk zijn er enkele SQL database servers die polyglot persistence ondersteunen. Dit betekent dat zij hun gegevens in hun eigen SQL database of in Hadoop kunnen opslaan. Voorbeelden zijn EMC/Greenplum UAP, Microsoft Polybase, Actian Paraccell en Teradata Aster database (SQL-H).
De meeste van deze implementaties worden momenteel beperkt tot het bevragen van gegevens die zijn opgeslagen in Hadoop, maar sommige, zoals SpliceMachine, ondersteunen transacties op Hadoop. De meeste maken geen gebruik van indexen, alhowel JethroData dat weer wel doet.
Deze aandacht voor SQL-on-Hadoop is natuurlijk begrijpelijk. Door middels een SQL interface alle big data die in HDFS is opgeslagen beschikbaar te maken, kunnen talloze tools voor rapportage en analyse tools deze gegevens benaderen. Het maakt big data geschikt voor de massa. Het is dan niet alleen meer voor de “happy few” die goed Java kunnen programmeren.
Bent u geïnteresseerd in SQL-on-Hadoop, dan moet u tenminste twee technische aspecten bestuderen. Ten eerste, hoe efficiënt zijn deze engines bij het uitvoeren van joins? Vooral het koppelen van meerdere grote tabellen is een grote technologische uitdaging. Ten tweede, het is relatief eenvoudig één query snel uit te voeren, maar hoe goed zijn deze engines in staat hun workload te beheren als meerdere queries met verschillende kenmerken tegelijkertijd uitgevoerd moeten worden? Met andere woorden, hoe goed beheren deze engines de query workload? Kan een query zo veel resources gebruiken dat alle andere queries staan te wachten? Laat u dus niet teveel beïnvloeden door single-user benchmarks.
Het is niet moeilijk te voorspellen dat er nog veel meer van deze SQL-on-Hadoop implementaties uitgebracht zullen gaan worden. Dat de bestaande producten zullen verbeteren en sneller zullen worden, is ook wel duidelijk. De kernvraag is welke van deze implementaties de strijd zullen overleven. Het is voor de hand liggend dat ze niet allemaal een groot commercieel succes zullen worden, maar voor klanten is het wel belangrijk dat een gekozen product na een aantal jaar nog steeds bestaat. Dit is vandaag de dag moeilijk te voorspellen omdat de markt snel verandert. Laten we maar gaan bekijken hoe deze grote groep producten er volgend jaar op Strata bij staat.
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot en met hogere niveaus van...
3 april 2025 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op c...
10, 11 en 14 april 2025Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikba...
15 april 2025 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
Deel dit bericht