Databricks vernieuwt data lake-propositie
Databricks introduceert twee nieuwe onderdelen van zijn platform: Lakehouse//RT voor real-time analytics en LTAP (Lake Transactional/Analytical Processing) voor het combineren van transactionele en analytische workloads zonder de noodzaak van datareplicatie.
Lakehouse//RT richt zich op queryverwerking met lage latency op data in Delta Lake en Apache Iceberg, terwijl LTAP een architectuur introduceert die OLTP- en OLAP-workloads combineert
Lakehouse//RT voor real-time queries
Lakehouse//RT is een real-time laag op het Databricks Lakehouse. De oplossing gebruikt de compute-engine Reyden voor het uitvoeren van query’s met lage latency en ondersteuning voor hoge concurrency (het verwerken van veel query’s gelijktijdig).
De verwerking vindt plaats binnen Unity Catalog, waarmee rechtenbeheer en auditing binnen het bestaande platform worden uitgevoerd. Lakehouse//RT is al beschikbaar als bèta.
Real-time verwerking binnen het bestaande lakehouse
Met Lakehouse//RT wil Databricks het gebruik van aparte real-time serving-lagen naast het lakehouse verminderen. In bestaande data-architecturen worden dergelijke lagen vaak ingezet naast de centrale data-opslag, om lage latency te bereiken.
Lakehouse//RT voert query’s direct op Delta- en Iceberg-tabellen uit, aldus Databricks, zonder aanvullende datakopieën of een afzonderlijke serving-database binnen de Databricks-architectuur.
LTAP: samenvoegen van OLTP en OLAP
LTAP (Lake Transactional/Analytical Processing), de tweede innovatie, introduceert een architectuur die een combinatie van transactionele en analytische workloads mogelijk maakt. Binnen LTAP blijven deze workloads gescheiden in uitvoering, maar delen zij dezelfde data in het lake.
Volgens Databricks kan dit in veel implementaties de noodzaak voor ETL en datareplicatie verminderen, uiteraard afhankelijk van de specifieke architectuur.
