10-02-2017 Door: Rick van der Lans

OLAP-on-Hadoop in opkomst

Deel dit bericht

Al geruime tijd zijn SQL-interfaces beschikbaar voor het benaderen van gegevens die in Hadoop opgeslagen zijn. Het eerste product was Apache Hive en op dit moment zijn er al meer dan twintig zogenoemde SQL-on-Hadoop engines. De laatste tijd zijn er enkele producten geïntroduceerd waarmee ontwikkelaars met behulp van een OLAP-achtige interface Hadoop-gegevens kunnen benaderen. Voorbeelden van OLAP-on-Hadoop-engines zijn Apache Kylin, AtScale, Kyvos Insights en Platfora. Hun interne structuren verschillen, maar ze staan allemaal toe dat gegevens opgeslagen in Hadoop geanalyseerd en gevisualiseerd kunnen worden middels een MDX-interface. Hier zijn gegevens georganiseerd als multi-dimensionele kubussen.

Aan de buitenkant zien OLAP-on-Hadoop-engines eruit als traditionele OLAP-tools die MDX-interfaces ondersteunen en, zoals gezegd, de gegevens in kubussen organiseren. Aan de binnenkant zijn ze echter zeer verschillend. Dit zijn enkele van de grote verschillen tussen OLAP-on-Hadoop-engines en traditionele OLAP tools:

Lage data latency: OLAP-on-Hadoop-engines analyseren gegevens die in Hadoop opgeslagen zijn. Hadoop-gegevens worden on-demand omgezet naar kubussen. Gegevens hoeven niet eerst in fysieke kubussen opgeslagen te worden. De verwerking van de queries op de kubussen wordt uitgevoerd door ze te transformeren naar queries die rechtstreeks op het Hadoop platform worden uitgevoerd. Het effect is dat gebruikers zero-latency gegevens kunnen analyseren. Met traditionele OLAP-oplossingen moeten gegevens vanuit de bronsystemen naar een datawarehouse gekopieerd worden, vervolgens naar data marts en tenslotte moeten ze naar fysieke kubussen omgezet worden. Dit gehele proces duurt bij sommige organisaties een gehele dag, wat inhoudt dat de data latency ook een gehele dag is. Steeds meer gebruikers vinden deze hoge data latency niet langer acceptabel. OLAP-on-Hadoop kan een zeer lage data latency bieden, zelfs als het om big data gaat.

Data storage schaalbaarheid: Aangezien Hadoop het opslagsysteem is, is de hoeveelheid gegevens die opgeslagen kan worden voor analytische doeleinden vrijwel onbeperkt. Dit is heel anders dan bij enkele traditionele OLAP-producten waarin de maximale hoeveelheid gegevens die opgeslagen kan worden, beperkt wordt door de maximale grootte van de kubus. OLAP-on-Hadoop ondersteunt live OLAP op big data.

Data processing schaalbaarheid: Het merendeel van de OLAP-on-Hadoop-engines gebruiken de gedistribueerde verwerkingskracht van het Hadoop-platform om analytische queries uit te voeren. Bij traditionele OLAP-oplossingen worden de gegevens verstuurd naar het punt waar de analytische verwerking plaatsvindt, terwijl bij OLAP-on-Hadoop de analytische verwerking verplaatst wordt naar de plek waar de gegevens opgeslagen zijn. Zeker in big data-omgevingen is dit veel efficiënter.

Verbeterde time-to-market: Aangezien de kubussen in een OLAP-on-Hadoop-engine geen fysieke kubussen zijn, kunnen hun structuur en (virtuele) inhoud zeer eenvoudig en snel gewijzigd worden, waardoor de time-to-market voor nieuwe rapporten aanzienlijk verbetert. Als een kubus gewijzigd moet worden, hoeft alleen de definitie aangepast te worden. Er is geen noodzaak de kubussen fysiek opnieuw op te bouwen en alle vooraf gedefinieerde en samengevatte gegevens opnieuw te berekenen. Wijzig alleen de definitie van de kubus en de gebruiker kan de nieuwe kubus direct analyseren.

BYOBIT: BYOBIT staat voor Bring-Your-Own-BI-Tool. Door de MDX-interface die de OLAP-on-Hadoop-engines bieden, kunnen gebruikers een veelvoud aan producten inzetten om gegevens te analyseren en visualiseren. Ze worden niet gedwongen een nieuw product te gebruiken, want ze kunnen hun eigen product meenemen, een product waarmee ze vertrouwd zijn. Op een bepaalde manier worden met OLAP-on-Hadoop de gegevens, die in Hadoop zijn opgeslagen, gedemocratiseerd. Hadoop-gegevens zijn op deze manier beschikbaar voor alle gebruikers en niet alleen voor de happy few, de super experts die weten hoe ze in MapReduce, Pig of Python moeten programmeren.

Samenvattend, OLAP-on-Hadoop-engines kunnen dan wel wat jonger zijn dan de SQL-on-Hadoop-engines, maar voor de wereld van analyse, rapportage en gegevensvisualisatie hadden ze niet later moeten verschijnen. Veel organisaties hebben gewacht om hun big data-investering opgeslagen in Hadoop beschikbaar te maken voor analyses zonder een complexe multi-database architectuur met een hoge data latency te hoeven ontwerpen, bouwen en beheren.

Rick van der Lans

Rick van der Lans is een gerespecteerd en onafhankelijk analist, adviseur, auteur en internationaal bekende spreker. Hij is gespecialiseerd in datawarehousing, business intelligence, big data en databasetechnologie. Hij heeft vele seminars en webinars gepresenteerd en keynotes bij industry-leading conferenties. Hij weet als geen ander een goede balans te vinden tussen op de praktijk toegesneden technologische en strategische zaken. Al meer dan tien jaar is hij de voorzitter van de jaarlijkse European Enterprise Data and Business Intelligence Conference in Londen en de jaarlijkse Data Warehousing en Business Intelligence Summit in Nederland. Rick helpt cliënten wereldwijd met het ontwerpen van hun data warehouse, big data en business intelligence architecturen en begeleid hen bij het selecteren van de geschikte producten. Hij is invloedrijk geweest bij het wereldwijd introduceren van de nieuwe logische datawarehouse architectuur waarmee organisaties meer flexibele business intelligence systemen kunnen ontwikkelen. Rick heeft honderden artikelen en blogs geschreven voor toonaangevende vakbladen en websites en van zijn hand zijn vele educatieve en populaire whitepapers verschenen voor een groot aantal leveranciers. Hij was de auteur van het eerste beschikbare boek over SQL, getiteld Introduction to SQL, dat in vele talen gepubliceerd is en waarvan meer dan 100.000 exemplaren verkocht zijn. Recentelijk publiceerde hij het boek Data Virtualization for Business Intelligence Systems.

Rick verzorgt bij Adept Events een seminar over de architectuur, ontwerp en technologie van het Logisch Datawarehouse alsmede een seminar over het Ontwerpen van Nieuwe Data Architecturen.

Alle blogs van deze auteur

Partners