VAST breidt Native Query Engine uit voor analytics
VAST Data heeft de Native Query Engine in VAST AI OS 5.5 uitgebreid met meer dan vijftig functies voor aggregatie en statistische analyse. Volgens een blog van het bedrijf kunnen gebruikers hierdoor meer analyses rechtstreeks uitvoeren op data binnen het platform, zonder deze eerst naar een externe query engine te verplaatsen.
De Native Query Engine werd oorspronkelijk ontwikkeld voor het zoeken in vectordata. Met versie 5.5 breidt VAST de engine uit naar bredere analytische toepassingen. Daarbij worden vector search en analyses van gestructureerde en semigestructureerde data binnen dezelfde omgeving gecombineerd.
Meer analyses
De nieuwe functies omvatten onder meer variantie, standaarddeviatie, correlatie, regressieanalyse en de berekening van kwantielen. Ook ondersteunt de engine conditionele aggregaties. Analyses waarvoor eerder bijvoorbeeld Spark of Trino nodig was, kunnen daardoor in meer gevallen rechtstreeks binnen VAST worden uitgevoerd.
VAST wil daarmee voorkomen dat data voor verwerking tussen verschillende systemen moet worden verplaatst of gekopieerd. De Native Query Engine voert berekeningen uit binnen het dataplatform zelf. Volgens het bedrijf vermindert dit de hoeveelheid infrastructuur en datapijplijnen die nodig zijn voor analytische workloads.
VAST ondersteunt overigens nog steeds externe query engines zoals Apache Spark en Trino. De eigen Query Engine is rechtstreeks in het platform geïntegreerd.
Vector en SQL
VAST AI OS 5.5 maakt het daarnaast mogelijk om vector search te combineren met SQL-filters. Vectordata staat daarbij naast gestructureerde en semigestructureerde data in VAST DataBase. Gebruikers kunnen bijvoorbeeld een similarity search uitvoeren en de resultaten binnen hetzelfde querypad filteren op andere kenmerken.
Ook is ondersteuning toegevoegd voor declaratieve partitionering van grote tabellen. VAST bepaalt daarbij op basis van de opgegeven indeling hoe onder meer partition pruning en optimalisatie van joins worden uitgevoerd.
De uitbreiding van de Native Query Engine maakt deel uit van VAST AI OS 5.5, dat sinds 6 augustus algemeen beschikbaar is. De release bevat daarnaast verbeteringen voor vector retrieval en nieuwe mogelijkheden om datapijplijnen binnen het VAST-platform uit te voeren.
Bron: VAST Data
