Databricks Delta combineert data lakes, datawarehouses en streaming systemen

Databricks heeft Databricks Delta aangekondigd, een uniform dataplatform dat de schaalbaarheid en kostenefficiëntie van een data lake, de query performance van een datawarehouse en de low latency van een streaming systeem biedt. Databricks is leverancier van een Unified Analytics Platform en opgericht door het team dat Apache Spark heeft ontwikkeld.

Databricks Delta is een belangrijk onderdeel van het Databricks Unified Analytics Platform dat in de cloud draait. Het elimineert de architecturale complexiteit en operationele overhead van het onderhouden van drie verschillende systemen: data lakes, datawarehouses en streaming-systemen. Met Delta hebben bedrijven niet langer complexe ETL-processen nodig die over verschillende systemen lopen en een grote latency creëren om data in een snel te bevragen vorm te krijgen.

Databricks Delta biedt de volgende mogelijkheden om enterprise data management te vereenvoudigen:
• Betrouwbaar beheer van continu wijzigende data: het uniforme dataplatform vereenvoudigt pijplijnen door Delta-tabellen als gegevensbron te gebruiken. Deltatabellen bieden transactionele garanties voor meerdere gelijktijdige opererende batch- en streaming-schrijftaken.
• Snelle query's uitvoeren zonder handmatige afstemming: Delta automatiseert prestatiebeheer en maakt handmatig het afstemmen van prestaties overbodig. Zelfoptimaliserende gegevenslay-out zorgt ervoor dat de gegevens die samen worden opgevraagd samen worden opgeslagen. Delta automatiseert het comprimeren van kleine bestanden voor efficiënte leesbewerkingen.
• Biedt kostenefficiëntie en schaalbaarheid voor data lakes: Delta slaat alle gegevens in Amazon S3 op voor kostenefficiëntie en enorme schaal. De gegevens in Delta worden opgeslagen in een open bestandsformaat om de portabiliteit van gegevens te waarborgen en vendor lock-in te voorkomen.
• Integratie met Unified Analytics Platform: Databricks Delta-gegevens zijn toegankelijk vanuit elke Spark-applicatie die op het Databricks-platform draait via de standaard Spark API's. Delta integreert ook in het Databricks Enterprise Security-model.