Red Hat OpenShift AI verbetert schaalbaarheid en flexibiliteit van AI

Red Hat lanceert Red Hat OpenShift AI 2.15. Dit AI/ML-platform, gebouwd op Red Hat OpenShift, biedt bedrijven een schaalbare oplossing voor het ontwikkelen en inzetten van AI-toepassingen in hybride cloud-omgevingen. Met de nieuwe versie krijgen bedrijven nog meer flexibiliteit, afstemmingsopties en trackingtools, wat hun AI-innovatie versnelt en het beveiligingsniveau en de consistentie over meerdere publieke clouds, datacenters en edge-omgevingen versterkt.

Red Hat wil een robuust platform leveren dat de levenscyclus van AI/ML-modellen kan beheren en Gen AI-applicaties kan inzetten naast bestaande workloads binnen de hybride cloud. De belangrijkste features in OpenShift AI 2.15 zijn:
• Modelregistratie: centraal beheer voor het delen, versiebeheer en tracken van Gen AI-modellen, inclusief meerdere modelregistraties. Red Hat heeft het project geschonken aan de Kubeflow-community.
• Data drift-detectie: voortdurende monitoring van inputdata om afwijkingen te detecteren tussen trainingsdata en live data, wat de betrouwbaarheid en nauwkeurigheid van modellen verhoogt.
• Bias detectie: tools om eerlijkheid en transparantie in modellen te bewaken – essentieel voor vertrouwen in AI en afkomstig uit de TrustyAI-gemeenschap.
• Efficiënte fine-tuning met LoRA: gebruik van low-rank adapters (LoRA) voor efficiëntere afstemming van LLM’s om kosten en middelen te besparen.
• Ondersteuning voor NVIDIA NIM: versnelt de levering van Gen AI-toepassingen via eenvoudig te gebruiken interface-microservices die zijn geïntegreerd in het NVIDIA AI Enterprise-platform.
• AMD GPU-ondersteuning: biedt nieuwe opties voor modelontwikkeling, -serving, -training en -tuning met AMD GPU’s. Dit is ideaal om de prestaties van intensieve rekenprocessen te verbeteren.

Verbeterde model serving
Red Hat OpenShift AI 2.15 tilt Gen AI model serving naar een hoger niveau met nieuwe functies zoals vLLM-runtime voor KServe en ondersteuning voor KServe Modelcars. Dit betekent dat Open Container Initiative (OCI)-repositories nu gebruikt kan worden om gecontaineriseerde modellen eenvoudig op te slaan en te beheren. Daarnaast zorgt keuzevrijheid tussen private en public routes voor endpoints in KServe ervoor dat organisaties de beveiliging van hun modellen kunnen verbeteren door ze te richten op interne endpoints.

Uitgebreide AI training en experimentatie
De OpenShift AI-update versterkt data science-pijplijnen en experiment tracking met slimme verbeteringen. Hyperparameter tuning via Ray Tune verhoogt de nauwkeurigheid en versnelt het trainen van voorspellende en Gen AI-modellen. Dankzij de toevoeging van basiscontainerimages voor Ray-clusters kunnen trainings- en tuningtaken efficiënt worden verdeeld over meerdere workloads in een cluster. Dit versnelt niet alleen de verwerkingstijd, maar maximaliseert ook het gebruik van beschikbare nodes.