Databricks biedt Apache Spark 2.3 op haar Unified Analytics Platform

Databricks heeft de beschikbaarheid aangekondigd van Apache Spark 2.3 op haar Unified Analytics Platform. Databricks is de eerste leverancier die Apache Spark 2.3 ondersteunt in een compute-engine, Databricks Runtime 4.0, die nu algemeen verkrijgbaar is. Naast ondersteuning voor Spark 2.3, introduceert Databricks Runtime 4.0 nieuwe functies, waaronder Machine Learning Model Export voor het vereenvoudigen van productie-implementaties en prestatie-optimalisaties.

De Apache Spark-community heeft meerdere waardevolle bijdragen geleverd aan de Spark 2.3-release die op 28 februari is geïntroduceerd. Volgens Matei Zaharia, de maker van Apache Spark en hoofdtechnoloog en mede-oprichter van Databricks, blijft de community de rol van Apache Spark uitbreiden als een uniforme analysemachine voor big data en AI.

De Databricks Runtime, die bovenop Apache Spark gebouwd is, is de voor de cloud geoptimaliseerde kern van het Databricks Unified Analytics Platform, dat zich richt op het toegankelijk maken van Big Data en artificial intelligence. De verbeteringen die zijn geïntroduceerd in Spark 2.3, dat wordt ondersteund binnen de nieuwste Databricks Runtime 4.0, zijn gericht op bruikbaarheid, stabiliteit en verfijning. Naast de introductie van stream-to-stream-joins en uitbreiding van functionaliteit naar SparkR, Python, MLlib en GraphX, biedt de nieuwe release een milliseconden-latency Continuous Processing mode voor gestructureerde streaming.

Naast ondersteuning voor Spark 2.3 voegt Databricks Runtime 4.0 de volgende functies van Databricks toe:
- Databricks Machine Learning Model Export vereenvoudigt Machine Learning Production Deployments. Deze exportfunctie stelt data scientists in staat snel machine learning modellen in real-time bedrijfsprocessen in te zetten.
- Databricks Runtime 4.0 is tot twee keer sneller dan Databricks Runtime 3.0. Databricks Caching in Runtime 4.0 bewaart automatisch de invoergegevens voor een gebruiker en load balances binnen een cluster.