De Linux Foundation, een non profit-organisatie die innovatie via open source mogelijk maakt, kondigt aan dat MLflow, een open source machine learning platform van Databricks, toetreedt tot de Linux Foundation. MLflow werd twee jaar geleden gelanceerd op de Spark+AI Summit en heeft sindsdien een indrukwekkende groei doorgemaakt. Inmiddels wordt MLflow maandelijks meer dan twee miljoen keer gedownload en maken meer dan 200 actieve deelnemers deel uit van de community rond het project.
Door aan te sluiten bij de Linux Foundation krijgt MLflow een onafhankelijk ‘thuis’ om verdere adoptie van en bijdragen aan het MLflow project mogelijk te maken. “De aanhoudende interesse vanuit de community laat goed zien dat datateams toegewijd zijn om samen te werken aan het machine learning platform van de toekomst. De adoptiegraad toont daarnaast aan dat er behoefte is aan een open source aanpak om de standaard voor de machine learning lifecycle vast te stellen,” zegt Michael Dolan, VP of Strategic Programs bij de Linux Foundation. “Van onze samenwerking met de grootste open source projecten ter wereld hebben we geleerd dat een open governance model ervoor zorgt dat programma’s sneller innoveren en een hogere adoptiegraad hebben omdat bijdragen sectorbreed mogelijk worden gemaakt.”
Groot aantal variabelen
Databricks heeft MLflow opgezet om een oplossing te bieden voor het ingewikkelde proces rondom de ontwikkeling van machine learning modellen. Het oorspronkelijke proces van het bouwen, trainen, finetunen, uitrollen en beheren van deze modellen leverde data scientists en ontwikkelaars veel hoofdbrekens op. In tegenstelling tot traditionele softwareontwikkeling, waarbij alleen naar verschillende code-versies gekeken wordt, werken machine learning modellen met verschillende versies van datasets, modelparameters en algoritmes. Hierdoor ontstaat een veel groter aantal variabelen dat bijgehouden en beheerd moet worden. Daar komt nog bij dat machine learning erg iteratief is, en afhankelijk van nauwe samenwerking tussen zowel data- als applicatieteams. Met MLflow blijft dit proces beheersbaar, omdat de teams beschikking hebben over één platform om de hele machine learning lifecycle te beheren, van voorbereiding van de data tot de uiteindelijke uitrol. Binnen dat proces kunnen ze op dezelfde plek terecht voor test runs, om modellen te delen en met elkaar samen te werken.
Standaard machine learning ontwikkelingsplatform
Matei Zahara, bedenker van Apache Spark en MLflow, deelde dit belangrijke nieuws vandaag tijdens zijn keynote presentatie op de Spark+AI Summit. “MLflow is de nieuwe open source standaard voor machine learning platformen, dankzij de enorme community van deelnemers die bestaat uit honderden engineers uit meer dan honderd verschillende bedrijven. Machine learning hervormt alle grote sectoren en is onmisbaar bij miljarden beslissingen binnen de retail, financiële sector en gezondheidszorg. Door met MLflow aan de Linux Foundation bij te dragen willen we de machine learning community uitnodigen om de handen ineen te slaan om samen te werken aan een standaard machine learning ontwikkelingsplatform dat voor iedereen beschikbaar is en de hele lifecycle beslaat.”
Tijdens de Spark+AI Summit delen verschillende bedrijven hun ervaring met MLflow, waaronder Starbucks, Exxonmobil, T-Mobile en Accenture. Tevens zijn nieuwe functies bekendgemaakt die MLflow en de machine learning lifecycle vereenvoudigen. Daarbij gaat het onder meer om het automatisch loggen van experimenten en verbeterd modelbeheer in het MLflow modelregister.
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot en met hogere niveaus van...
3 april 2025 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op c...
10, 11 en 14 april 2025Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikba...
15 april 2025 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
Deel dit bericht