Snowflake en Meta optimaliseren nieuwe flagship model-familie in Snowflake Cortex AI

Snowflake heeft aangekondigd dat het de Llama 3.1-collectie van meertalige open source Large Language Models zal hosten in Snowflake Cortex AI voor enterprises om eenvoudig krachtige AI-toepassingen op schaal te benutten en bouwen. Door samen te werken met Meta biedt Snowflake klanten eenvoudige en vertrouwde manieren om toegang te krijgen tot de nieuwste modellen van Meta, deze te verfijnen en in te zetten in de AI Data Cloud. Dit met een allesomvattende benadering van vertrouwen en veiligheid ingebouwd op het basisniveau.

Het aanbod omvat Meta's grootste en krachtigste open source LLM, Llama 3.1 405B, waarbij Snowflake de inferentiesysteem-stack ontwikkelt en open source maakt om real-time, high-throughput inferentie mogelijk te maken en krachtige applicaties voor het verwerken en genereren van natuurlijke taal verder te democratiseren. Het toonaangevende AI-onderzoeksteam van Snowflake heeft Llama 3.1 405B geoptimaliseerd voor zowel inferentie als fine-tuning. Het ondersteunt vanaf dag één een enorm 128K contextvenster en maakt real-time inferentie mogelijk met tot 3x lagere end-to-end latentie en 1,4x hogere doorvoer dan bij bestaande open source-oplossingen. Bovendien is fine-tuning op het massieve model mogelijk met slechts één GPU-node - waardoor kosten en complexiteit voor ontwikkelaars en gebruikers worden geëlimineerd - en dat alles binnen Cortex AI.

Geheugenefficiënte open source-inferentie en fine-tuning
Het AI-onderzoeksteam van Snowflake blijft de grenzen van open source-innovaties verleggen door middel van regelmatige bijdragen aan de AI-gemeenschap en transparantie over hoe het innovatieve LLM-technologieën bouwt. Tegelijk met de lancering van Llama 3.1 405B is het AI-onderzoeksteam van Snowflake nu bezig met het open source maken van zijn Massive LLM Inference and Fine-Tuning System Optimization Stack in samenwerking met DeepSpeed, Hugging Face, vLLM en de bredere AI-gemeenschap. Deze doorbraak creëert een nieuwe state-of-the-art voor open source-inferentie- en afstemsystemen voor modellen met meerdere honderden miljarden parameters.

De enorme schaal van het model en de geheugenvereisten vormen aanzienlijke uitdagingen voor gebruikers die streven naar inferentie met lage latentie voor realtime gebruikssituaties, een hoge verwerkingscapaciteit voor kosteneffectiviteit en ondersteuning van lange contexten voor verschillende generatieve AI-use cases op enterprise-niveau. De geheugenvereisten voor het opslaan van model- en activeringstoestanden maken fine-tuning ook extreem uitdagend, waarbij de grote GPU-clusters die nodig zijn om de modeltoestanden in te passen voor training vaak onbereikbaar zijn voor data scientists.

Snowflake's Massive LLM Inference and Fine-Tuning System Optimization Stack pakt deze uitdagingen aan. Door gebruik te maken van geavanceerde parallelliteitstechnieken en geheugenoptimalisaties maakt Snowflake snelle en efficiënte AI-verwerking mogelijk, zonder complexe en dure infrastructuur. Voor Llama 3.1 405B levert Snowflake's systeemstack realtime, hoge doorvoerprestaties op slechts één GPU-node en ondersteunt het enorme 128k contextvensters in multi-node setups. Deze flexibiliteit geldt zowel voor next-generation als legacy hardware, waardoor het toegankelijk is voor een breder scala aan bedrijven. Bovendien kunnen datawetenschappers Llama 3.1 405B verfijnen met gemengde precisietechnieken op minder GPU's, waardoor er geen grote GPU-clusters nodig zijn. Als gevolg hiervan kunnen organisaties krachtige generatieve AI-toepassingen op bedrijfsniveau eenvoudig, efficiënt en veilig aanpassen en implementeren.

Het AI-onderzoeksteam van Snowflake heeft ook een geoptimaliseerde infrastructuur ontwikkeld voor fine-tuninginclusief modeldistillatie, veiligheidsrails, retrieval augmented generation (RAG) en synthetische datageneratie, zodat bedrijven eenvoudig aan de slag kunnen met deze use cases binnen Cortex AI.

Betrouwbare en verantwoorde AI
AI-veiligheid is van het grootste belang voor Snowflake en haar klanten. Als gevolg hiervan maakt Snowflake Snowflake Cortex Guard algemeen beschikbaar om verdere bescherming te bieden tegen schadelijke inhoud voor elke LLM-applicatie of -asset die is gebouwd in Cortex AI - met behulp van de nieuwste modellen van Meta of de LLM's die beschikbaar zijn van andere toonaangevende leveranciers, waaronder AI21 Labs, Google, Mistral AI, Reka en Snowflake zelf. Cortex Guard maakt gebruik van Meta's Llama Guard 2, waarmee vertrouwde AI verder wordt ontsloten voor bedrijven, zodat ze er zeker van kunnen zijn dat de modellen die ze gebruiken veilig zijn.