dbt Core 1.12 introduceert snellere Rust-parser

dbt Labs heeft dbt Core 1.12 algemeen beschikbaar gemaakt. De nieuwe versie bevat onder meer een snellere parser die is ontwikkeld in de programmeertaal Rust. Volgens dbt Labs kan deze bij grotere projecten vijf tot tien keer sneller zijn dan de huidige Python-parser.

dbt Core is de opensource software van dbt Labs voor het transformeren en modelleren van data in datawarehouses en andere dataplatforms. Versie 1.12 bevat daarnaast uitbreidingen voor onder meer de Semantic Layer en user-defined functions (UDF’s).

Nieuwe parser

De parser leest de bestanden en configuraties van een dbt-project, brengt afhankelijkheden in kaart en bouwt de bijbehorende data lineage op. Naarmate projecten groter worden, kan dit volgens dbt Labs een steeds groter deel van de verwerkingstijd in beslag nemen.

De nieuwe Rust-parser is in versie 1.12 optioneel. Gebruikers kunnen deze activeren om bestaande projecten ermee te testen en bij problemen terugschakelen naar de huidige Python-parser. dbt Labs ziet versie 1.12 daarmee als tussenstap naar dbt Core 2.0.

De volgende hoofdversie van dbt Core krijgt een op Rust gebaseerde architectuur die voortbouwt op de technologie van de dbt Fusion engine. Door de nieuwe parser nu al beschikbaar te maken, kunnen gebruikers controleren of bestaande projecten, configuraties en uitbreidingen daarmee goed functioneren.

Semantic Layer

dbt Labs heeft ook de specificatie voor de Semantic Layer aangepast. Semantische informatie kan voortaan direct worden vastgelegd bij de modellen en kolommen waarop deze betrekking heeft. Daardoor hoeven definities van bijvoorbeeld dimensies en metrics minder over afzonderlijke onderdelen van een project te worden verdeeld.

Daarnaast ondersteunt dbt Core 1.12 Apache Ossie voor het definiëren van semantische modellen. Hierdoor kan semantische informatie gemakkelijker tussen dbt en andere systemen worden uitgewisseld.

De mogelijkheden voor user-defined functions zijn eveneens uitgebreid. JavaScript UDF’s kunnen nu voor Snowflake en BigQuery binnen een dbt-project worden gedefinieerd. Python UDF’s worden voortaan ook op Databricks ondersteund.

Versie 1.12 bevat verder nieuwe mogelijkheden om te bepalen wat er met afhankelijke modellen gebeurt wanneer een eerder model een fout geeft. Ook kunnen projectvariabelen in een afzonderlijk bestand worden opgeslagen en kunnen gebruikers eenmalige SQL-opdrachten uitvoeren zonder daarvoor eerst een macro aan te maken.

Bron: dbt Labs