Google Cloud breidt Dataflow uit voor AI-workloads
Google Cloud heeft vorige week Dataflow uitgebreid met nieuwe functies voor grote AI-workloads. Pause/Resume voor batchjobs is nu algemeen beschikbaar en Dataflow ondersteunt G4-VM’s met NVIDIA RTX PRO 6000 Blackwell Server Edition-GPU’s voor onder meer AI-inference.
Dataflow is het beheerde platform van Google Cloud voor batch- en streamingpipelines. Het wordt onder meer gebruikt voor datapreparatie, analytics en machine-learningworkloads. Met de nieuwe functies richt Google zich vooral op langlopende batchjobs en AI-toepassingen die veel rekenkracht vragen.
Een van de uitbreidingen is Pause/Resume voor Dataflow-batchjobs. Grote batchjobs kunnen meerdere dagen draaien. Wanneer zo’n job uitvalt, moesten gebruikers volgens Google tot nu toe de verwerking opnieuw starten, waardoor reeds uitgevoerd werk verloren kon gaan.
Met Pause/Resume kan de status van een batchjob worden bewaard. Na het oplossen van een probleem kan de verwerking vanaf dat punt worden hervat. De functie kan ook handmatig worden gebruikt om een job tijdelijk stil te leggen.
Pauzeren en hervatten
Google ziet hiervoor ook toepassingen bij het verdelen van schaarse GPU- en TPU-capaciteit. Een batchjob met een lagere prioriteit kan bijvoorbeeld worden gepauzeerd, zodat de beschikbare acceleratorcapaciteit tijdelijk kan worden ingezet voor feature engineering of AI-inference.
De functie was al in ontwikkeling en is nu algemeen beschikbaar voor Dataflow-batchjobs. Gepauzeerde jobs bewaren hun staat met gearchiveerde Shuffle-data, zodat het eerder uitgevoerde werk bij hervatting behouden blijft.
Blackwell voor inference
Daarnaast ondersteunt Dataflow voortaan G4-VM’s met NVIDIA RTX PRO 6000 Blackwell Server Edition-GPU’s. Daarmee kunnen zwaardere inferenceworkloads rechtstreeks binnen een Dataflow-job worden uitgevoerd.
De GPU beschikt volgens Google over 96 GB vGPU-geheugen en een geheugenbandbreedte van 1,6 TB per seconde. Dataflow kan daarmee modellen met meer dan 70 miljard parameters gebruiken voor inference.
De nieuwe GPU’s werken samen met bestaande Dataflow-functies zoals RunInference, right fitting en GPU-enabled autoscaling. Daarmee kan Dataflow de beschikbare rekenresources aanpassen aan de workload zonder dat gebruikers daarvoor zelf de onderliggende infrastructuur hoeven te beheren.
Google positioneert de combinatie van Pause/Resume en de nieuwe Blackwell-ondersteuning als een manier om zowel het resourcegebruik van langlopende batchjobs als de uitvoering van grotere AI-workloads efficiënter te maken.
Bron: Google Cloud
