Apache Software Foundation promoveert Gluten- en Polaris-projecten tot Top-Level
De Apache Software Foundation heeft aangekondigd dat Apache Gluten en Apache Polaris Top-Level Projecten zijn geworden.
Apache Gluten is een open source middle-layer plug-in die is ontworpen om Apache Spark SQL- en DataFrame-workloads aanzienlijk te versnellen. Het fungeert als een brug en ontlast rekenintensieve taken van het op JVM gebaseerde Spark naar krachtige native engines zoals Velox of ClickHouse, met een uitbreidbare architectuur die is ontworpen om toekomstige integratie met ASF-projecten zoals Apache DataFusion mogelijk te maken.
Gluten is Latijn voor lijm. Het belangrijkste doel van het Gluten-project is om native bibliotheken te ‘verlijmen’ met SparkSQL, om te profiteren van de hoge schaalbaarheid van het Spark SQL-framework en de hoge prestaties van native bibliotheken. De basisregel van het ontwerp van Gluten is om de volledige controlestroom van Spark en zoveel mogelijk JVM-code te hergebruiken, maar het rekenintensieve deel van de gegevensverwerking over te hevelen naar native code.
Apache Polaris is een open source volledig uitgeruste catalog voor Apache Iceberg. Het implementeert de REST API van Iceberg, waardoor naadloze interoperabiliteit tussen meerdere engines mogelijk is op een breed scala aan platforms, waaronder Apache Doris, Apache Flink, Apache Spark, Dremio OSS, StarRocks en Trino. Door een leveranciersonafhankelijke implementatie van de Apache Iceberg REST Catalog-specificatie te bieden, lost Polaris een van de grootste problemen in de moderne data-architectuur op: vendor lock-in. Of Dremio, Snowflake, Apache Spark, Trino of Apache Flink wordt gebruikt, Polaris zorgt ervoor dat ze alle naar dezelfde bron van waarheid kijken. Polaris biedt gecentraliseerde, veilige lees- en schrijftoegang tot Iceberg-tabellen in verschillende REST-compatibele query-engines.
