Snowflake introduceert dynamic model routing bij Cortex AI
Snowflake heeft dynamic model routing aangekondigd voor Cortex AI Gateway. De nieuwe functionaliteit kiest automatisch welk AI-model het meest geschikt is voor een taak. Daarbij wordt onder meer rekening gehouden met kwaliteit, snelheid en kosten.
Cortex AI Gateway werd in juli geïntroduceerd als centrale omgeving voor het beheren van AI-agents en het gebruik van verschillende AI-modellen. Met dynamic model routing wil Snowflake voorkomen dat voor iedere taak standaard hetzelfde, vaak relatief dure, AI-model wordt gebruikt.
Model per taak
Bij eenvoudige of veelvoorkomende taken kan Cortex AI Gateway een goedkoper en efficiënter model selecteren. Taken waarvoor meer redeneervermogen nodig is, kunnen naar een krachtiger model worden gestuurd. Organisaties kunnen zelf bepalen welke modellen beschikbaar zijn en aan welke voorwaarden de selectie moet voldoen.
De router houdt daarbij rekening met instellingen voor onder meer data residency en gebruikt alleen modellen die door de organisatie zijn toegestaan. Ook wordt vastgelegd welk model voor een opdracht is gebruikt. Volgens Snowflake kunnen organisaties zo verschillende modellen inzetten zonder voor iedere toepassing zelf logica voor de modelkeuze te ontwikkelen.
Dynamic model routing wordt geïntegreerd in Snowflake CoCo en Snowflake CoWork. Ook externe AI-agents die Cortex AI Gateway gebruiken, kunnen van de functionaliteit gebruikmaken. Wanneer prestaties of prijzen van modellen veranderen, kan Snowflake de routering daarop aanpassen zonder dat organisaties hun toepassingen opnieuw hoeven te bouwen.
Kosten beheren
Snowflake breidt daarnaast de mogelijkheden uit om het gebruik en de kosten van AI te beheren. Beheerders kunnen het tokengebruik en de bijbehorende kosten volgen. Ook kunnen zij bestedingslimieten instellen en het gebruik toewijzen aan bijvoorbeeld teams of kostenplaatsen.
Snowflake breidt tegelijkertijd het aanbod van beschikbare open AI-modellen uit. DeepSeek-V4-Flash 0731 is in private preview en GLM-5.3 moet eveneens beschikbaar komen. Deze modellen worden binnen Snowflake uitgevoerd, zodat de data binnen de governanceomgeving van Snowflake blijft.
Dynamic model routing komt volgens Snowflake binnenkort als private preview beschikbaar.
Bron: Snowflake
