Teradata introduceert open source Kylo-platform voor ontwikkeling data lakes

Teradata introduceert Kylo, een open source softwareplatform voor het beheren van data lakes. Dit is een belangrijke bijdrage aan de open source-gemeenschap, waardoor bedrijven op een veel efficiëntere manier data lakes kunnen creëren.

De oplossing is ontwikkeld op basis van de nieuwste open source-technologie, waaronder Apache Hadoop, Apache Spark en Apache NiFi. Kylo is een door Teradata gesponsord open source-project dat onder de Apache 2.0-licentie wordt aangeboden. Kylo is ontstaan uit code, ontleend aan succesvolle data lake-implementaties, geleid door Think Big Analytics. Dit Teradata-bedrijf zal ook diensten en ondersteuning voor Kylo gaan leveren.

Bouwcyclus
Teradata heeft naar eigen zeggen veel ervaring met het creëren van zakelijke waarde uit data lakes. Door de beschikbaarheid van Kylo​​, kunnen organisaties nu de meest voorkomende uitdagingen aan, waar zij tegenaan lopen bij hun data lake-implementaties. Een voorbeeld is dat het bouwen van data lakes te lang duurt. Tijdens de gemiddelde bouwcyclus van zes tot twaalf maanden ontdekken gebruikers bij snel evoluerende bedrijven vaak dat hun gebruiksscenario’s gaandeweg achterhaald en minder relevant raken. Ook kunnen de implementatiekosten al snel oplopen, ondanks de lagere kosten van de software. Tot slot, kan een data lake, als het eenmaal is gemaakt, soms niet genoeg gebruikers aantrekken, omdat zij het moeilijk vinden de data te verkennen. Zo wordt uiteindelijk weinig waarde gecreëerd.

Self-service datacollectie
Kylo is afgeleid en ontwikkeld op basis van data lake implementaties uit verschillende branches, en kan eenvoudig helpen bij het oplossen van deze problemen. Het is namelijk makkelijk te integreren en vereenvoudigt pipeline-ontwikkeling en gangbare datamanagementtaken. Dit resulteert in een snellere time-to-value, een grotere gebruikersacceptatie en hogere productiviteit van ontwikkelaars. Met Kylo ​​is geen programmeerkennis nodig, en de intuïtieve gebruikersinterface voor self-service datacollectie en -voorbereiding versnelt het ontwikkelproces. Kylo maakt verder gebruik van herbruikbare templates om de productiviteit te verhogen.

Uitdagingen
Door de uitgebreide ervaring uit meer dan 150 data lake-projecten helpt Kylo organisaties om de meest voorkomende uitdagingen te adresseren die zij tegenkomen bij hun data lake-implementaties, zoals:
• Tekort aan ervaren software-engineers en -beheerders.
• Het leren en implementeren van best practices rond data lake governance.
• Data lake adopties verder brengen dan enkel bij ingenieurs.

Na het overwinnen van deze uitdagingen, kunnen nuttige zakelijke resultaten gerealiseerd worden. Teradata heeft al veel organisaties geholpen om met data lakes geld te besparen en er nieuwe inkomstenstromen uit te generen, waaronder:
• Een fabrikant van halfgeleiders verhoogde de kwalitatieve opbrengst van wafers; verminderde verspilling, bespaarde tijd, en voegde daarmee maar waarde toe aan de organisatie.
• Een fabrikant van industriële apparatuur realiseerde nieuwe service-modellen, service-level agreements, interventieprocessen en, met name, nieuwe inkomstenstromen.
• Een ziekenhuis verminderde de voorbereidingstijden voor patiënten, waardoor artsen meer patiënten kunnen behandelen.

Een groot telecombedrijf implementeerde onlangs Kylo, nadat een groot team van dertig data-ingenieurs eerst maanden bezig was geweest om handmatig data-ingestion pipelines te programmeren. Met behulp van Kylo was ​​één enkel individu in staat om in minder dan een week dezelfde data te integreren, opschonen, profileren, en valideren. Kylo verbeterde niet alleen de efficiëntie van dataverwerking, maar de overige ingenieurs konden zich hierdoor concentreren op andere belangrijke zakelijke prioriteiten.
 
Teradata speelt een leidende rol in bestuur, rentmeesterschap en community-bouw rond het Kylo open source-project.

De Kylo-software, documentatie en tutorials zijn nu beschikbaar via de Kylo projectwebsite en de GitHub-website.
Op verzoek levert Think Big Analytics aanvullende diensten, waaronder ondersteuning, implementatiediensten, training en managed services.