Elsevier Labs implementeert Databricks voor Unified Content Analysis

Elsevier Labs heeft Databricks ingezet als unified content analysis platform, waardoor aanzienlijke productiviteitswinst voor het hele team en het verminderen van projectdoorloop van weken tot slechts enkele dagen, mogelijk is.

Elsevier Labs is de geavanceerde R & D-groep binnen Elsevier - wereldwijde leverancier van wetenschappelijke informatie, uitgever van meer dan 2500 tijdschriften en 33000 boektitels, en web-based informatie-oplossingen voor professionals in wetenschap, technologie en geneeskunde.

Elsevier Labs had behoefte aan een snel en schaalbaar analytics platform voor de ontwikkeling van nieuwe methoden om inzichten uit gepubliceerde content te extraheren. Het ontwikkelingsproces vereist vaak de toepassing van complexe natuurlijke taalverwerking (NLP) algoritmen op miljoenen artikelen en de interpretatie van de resultaten. Voorafgaand aan de inzet van Databricks, werd de productiviteit van Elsevier Labs ernstig belemmerd omdat:
• er aanzienlijke handmatige databewerking was gedurende de analytics workflow;
• de steile leercurve van het legacy analytics platform hergebruik van code verhinderde;
• presentatie van resultaten aanzienlijke extra tijd vereiste om rapporten en user interfaces te bouwen.

Databricks stelt Elsevier Labs in staat om moeiteloos Spark clusters te beheren, datatoegang te verlenen, gezamenlijk geavanceerde algoritmes te ontwikkelen en resultaten op een enkel platform te presenteren. Met de Databricks geïntegreerde workspace was het voor het Elsevier Labs team mogelijk om:
• te starten met, schalen, en beëindigen van Spark clusters zonder specialisten met big data DevOps deskundigheid;
• direct toegang tot data in S3-opslag te hebben en gezamenlijk analyses uit te voeren in een notebook-omgeving, met behulp van Python, Scala, SQL, of zelfs R;
• resultaten aan het senior management te presenteren en door de gehele organisatie te delen, met account-gebaseerde toegangscontrole van notebooks.

Met de hulp van Databricks kan Elsevier Labs vijf keer meer mensen inzetten bij algoritmeontwikkeling voor contentanalyse. Medewerkers die Databricks gebruiken zijn aanzienlijk productiever, waardoor een gemiddelde projectduur van weken naar slechts enkele dagen wordt verkort.