Data scientists die in Scala werken kunnen nu aan de slag met een door Netflix opgezet eigen data science-notebook. Onder de naam Polynote is het vrijgegeven als open source.
Polynote is een polyglot product en ondersteunt als zodanig meerdere talen, waaronder Scala, Python en SQL. Ontwikkelaars kunnen code in elk van deze talen schrijven en Polynote zal deze getrouw in alle cellen uitvoeren. Netflix-ontwikkelaars Jeremy Smith, Jonathan Indig en Faisal Siddiqi hebben Polynote opgezet na de tekortkomingen die ze zagen in bestaande notebooktools, vooral met betrekking tot ondersteuning van Scala.
Netflix bouwde Polynote om meer te werken als een volwaardige geïntegreerde ontwikkelomgeving (IDE) dan typische data science-notebooks. Daartoe bouwde het bedrijf Polynote's code-interpretatie helemaal opnieuw op in plaats van te vertrouwen op een read-evalu-print-loop (REPL) zoals een traditionele notebook. De rich text-editor van de notebook biedt andere IDE-achtige functies, waaronder syntax error markering, auto-complete en parameterhints. Het biedt ook integratie met Apache Spark, wat zou moeten helpen een aantal van de afhankelijkheidsproblemen te verminderen die vaak door Spark-ontwikkelaars worden ervaren.
"Met Spark werken ontwikkelaars in een clustercomputeromgeving waar het absoluut noodzakelijk is dat hun gedistribueerde code in een consistente omgeving wordt uitgevoerd, ongeacht welk knooppunt wordt gebruikt", schrijft Netflix. "Tenslotte hebben we geconstateerd dat onze gebruikers ook gefrustreerd waren met de code editing mogelijkheden in notebooks, vooral als ze gewend waren IntelliJ IDEA of Eclipse te gebruiken."
Polynote sluit aan op visualisatiebibliotheken van matplotlib, wat vrij standaard is bij notebooks. Het ondersteunt ook data exploration mogelijkheden dankzij een data schema view, table inspector, plot constructor en ondersteuning voor Vega.
Netflix is biedt Polynote onder een Apache 2-licentie. Het project wordt onderhouden op GitHub.
Meer informatie: polynote.org
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot en met hogere niveaus van...
3 april 2025 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op c...
10, 11 en 14 april 2025Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikba...
15 april 2025 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
Deel dit bericht