Databricks SQL Analytics maakt cloud datawarehousing mogelijk op data lakes

Databricks heeft de lancering aangekondigd van SQL Analytics, een oplossing waarmee data-analisten binnen data lakes werk kunnen verrichten dat volgens Databricks voorheen alleen in datawarehouses mogelijk was. Hierdoor zijn data lakes niet meer beperkt tot data science en machine learning, maar zijn alle typen dataverwerking mogelijk – inclusief Business Intelligence en SQL query's.

Volgens Databricks hebben Datateams in de gehele organisatie zo een gezamenlijke single source of truth. Met SQL Analytics maakt Databricks haar visie van het lakehouse werkelijkheid. Het lakehouse is een architectuur die de prestaties van datawarehouses combineert met de lage operationele kosten van een data lake. Hierdoor is de verhouding tussen kosten en prestaties tot negen keer beter dan bij traditionele cloud datawarehouses. SQL Analytics is vanaf 18 november toegankelijk als preview.

Een lakehouse-architectuur versimpelt data en AI voor organisaties. Voorheen dienden datateams hun eigen datawarehouses voor BI-werkzaamheden én data lakes voor datawetenschap en machine learning te onderhouden. Dit omdat geen enkel dataplatform zowel de prestaties kon leveren die nodig waren voor BI én de flexibiliteit kon bieden die vereist was voor datawetenschap. Het onderhoud van legacy-architecturen is bovendien duur en ingewikkeld, en heeft tot datasilo’s geleid die innovatie vertragen en productiviteit verminderen. Een lakehouse lost dit probleem op door alle werkzaamheden te combineren binnen één architectuur.

Open format data engine
“Het is niet meer een vraag óf organisaties hun data naar de cloud verhuizen, maar wannéér”, zegt Ali Ghodsi, CEO en medeoprichter van Databricks. “Een lakehouse-architectuur die op een data lake is gebouwd, is de ideale oplossing voor datagedreven organisaties. Deze lancering geeft onze klanten veel betere mogelijkheden voor hun datastrategie. We hebben samengewerkt met duizenden klanten om te doorgronden hoe ze hun datastrategie willen vormgeven. Data lakes hebben hierin de voorkeur voor de overgrote meerderheid. Zij hebben gigantische hoeveelheden data in hun data lakes. Met SQL Analytics kunnen ze deze data direct in dat data lake verwerken door met BI-tools zoals Tableau te koppelen.”

SQL Analytics is gebouwd op Delta Lake, een open format data engine die betrouwbaarheid, kwaliteit en beveiliging toevoegt aan het bestaande data lake van de klant. Hierdoor zijn meerdere kopieën van data onnodig en wordt dataopslag niet beperkt tot bedrijfsspecifieke formats. Om BI mogelijk te maken op een data lake, introduceert SQL Analytics twee innovaties. Ten eerste biedt de oplossing gebruiksvriendelijke, automatisch schaalbare eindpunten die de query latency consistent laag houden, zelfs wanneer vele gebruikers tegelijkertijd aan het werk zijn. Ten tweede gebruikt het Delta Engine, de unieke query engine van Databricks, om query’s zeer snel uit te voeren in zowel grote als kleine datasets.

Query- en visualisatie-interface
Dankzij koppelingen met alle grote BI-tools, waaronder Tableau en Microsoft Power BI, kunnen klanten SQL Analytics gemakkelijk integreren binnen hun bestaande BI workflows en zo gebruikmaken van actuelere en completere data. SQL Analytics beschikt ook over een query- en visualisatie-interface waarmee analisten, datawetenschappers en ontwikkelaars gemakkelijk dashboards en rapporten kunnen aanmaken en deze binnen hun organisatie delen met gebruikers zonder toegang tot traditionele BI-tools.

“Organisaties hebben meer dan ooit een datastrategie nodig die hen wendbaarder maakt”, zegt Francois Ajenstat, Chief Product Officer bij Tableau. “Nu organisaties hun data naar de cloud verhuizen, zien we dat er meer interesse is in analytics binnen data lakes. SQL Analytics biedt een geheel nieuwe ervaring, waarin klanten inzichten uit enorme hoeveelheden data kunnen verkrijgen met de snelheid, kwaliteit en schaal die ze nodig hebben. We zijn trots op onze samenwerking met Databricks om die mogelijkheden te realiseren.”

De lakehouse-architectuur wordt ondersteund door partners van Databricks, waaronder:
BI-partners: Tableau, Power BI, Qlik, Looker, Thoughtspot
Ingest-partners: Fivetran, Fishtown Analytics, Matillion, Talend
Catalog-partners: Collibra, Alation
Consulting-partners: Slalom, Thorogood, Advancing Analytics