Talend kondigt ondersteuning aan voor Delta Lake project

Talend heeft aangekondigd dat het bedrijf het nieuw aangekondigde open source project Delta Lake van Databricks zal ondersteunen. Talend Cloud zal native data van elke bron van en naar Delta Lake integreren, waardoor een betrouwbare, uniforme omgeving voor batch- en streamingdata op schaal wordt geboden om een breed scala aan analytische en operationele use cases mogelijk maken.

Talend Cloud integreert naadloos gegevens van en naar Delta Lake, waarbij gebruik wordt gemaakt van de ACID-conformiteit, Time Travel (data versioning) en uniforme batch- en streamingverwerking. Naast het verbinden met een breed scala aan databronnen, waaronder veelgebruikte SaaS-apps en cloud-platforms, stelt Talend Delta Lake-gebruikers in staat uitgebreide datakwaliteits- en besturingsfuncties te bieden om machine learning en geavanceerde analyses te ondersteunen. Hiermee wordt de volledige kracht van Apache Spark-technologie onder Delta Lake ondersteund.

Talend's ondersteuning voor Spark-connectoren biedt Delta Lake verschillende voordelen, waaronder:
- Betere gegevensconsistentie door gebruik te maken van de native datakwaliteiten van Talend met Delta Lake ACID-transacties
- Eenvoudige rollbacks en herverwerking dankzij de integratie van Talend met Delta Lake Time Travel en data versioning-mogelijkheden
- Grootschalige verwerking dankzij de ondersteuning door Talend van de scale-out architectuur van Delta Lake

Delta Lake biedt betrouwbaarheid aan data lakes door transacties te beheren via streaming- en batchdata en via meerdere gelijktijdige readers en writers. Delta Lake kan gemakkelijk met elk bestaand data lake werken, waardoor organisaties betrouwbaarheid van gegevens kunnen verkrijgen met minimale verandering in hun gegevensarchitecturen. Hierdoor kunnen ontwikkelaars honderden applicaties op betrouwbare wijze uploaden en grootschalige query’s uitvoeren.

Talend Cloud is geïntegreerd met zowel Azure Databricks als Databricks for AWS.