Steeds meer Hadoop en Big Data projecten in Europa

Drie op vier beslissingsnemers die de Hadoop Summit Europe bezochten zeggen dat ze ofwel projecten starten met Hadoop, of hun bestaande Hadoop-projecten gaan uitbreiden. Een onderzoek van Syncsort – een bedrijf dat zich specialiseert in de integratie van Big Data – toont aan dat de Europese markt voor Big Data snel volwassen aan het worden is.

Hadoop Summit Europe (Amsterdam, 20-21 maart) was de eerste Europese editie van Hadoop Summit en lokte meer dan 500 Hadoop-fans uit heel Europa. Op deze conferentie ondervroeg Syncsort meer dan 100 deelnemers over hun gebruik van Hadoop en hun visie op Big Data.

Slechts 41 procent van de ondervraagden gaf aan dat ze vinden dat hun bedrijf over een goede data strategie beschikt en ook de juiste tools gebruikt om hun data zo goed mogelijk in te zetten. Bijna zestig procent vindt dus dat ze achterop hinken op het vlak van Big Data, en antwoordde “we halen niet genoeg waarde uit onze data” (26%), “We hebben niet echt een datastrategie” (9%) of “We worstelen met de hulpmiddelen die onze data integreren.” (24%).

Big Data verwerken mag voor veel bedrijven dan nog nieuw lijken, het merendeel van de bedrijven die op Hadoop Summit aanwezig waren, geven toch aan al een stuk gevorderd te zijn op hun reis naar Big Data en Hadoop. Niet minder dan 34% van de respondenten zei dat ze nu al Hadoop gebruiken als enterprise data management platform, terwijl nog eens 43 procent zegt dat ze experimenteren met Hadoop en er prototypes voor bouwen. De overblijvende 23 procent was minder overtuigd. Zij schrijven zelf nog code om hun data te verwerken, of komen de limieten tegen van hoeveel data ze kunnen verwerken.

Meer dan de helft van de deelnemers aan Hadoop Summit Amsterdam zegt dat ze Hadoop al meer dan een jaar gebruiken, en nog eens 39 procent experimenteren momenteel met Hadoop. Zes procent maken momenteel een keuze tussen de verschillende Hadoop distributies, terwijl slechts drie procent niet denkt Hadoop in de nabije toekomst te gaan gebruiken.

Als business case voor Hadoop wijst het merendeel van de deelnemers op een betere schaalbaarheid van zowel opslag als verwerkingskracht (36%), gevolgd door complexe dataverwerking (29%), de wendbaarheid en flexibiliteit van het bedrijf (19%), en goedkopere opslag (16%).

Op het vlak van concrete toepassingen voor Hadoop, toonden de aanwezigen op Hadoop Summit vooral interesse in marketing toepassingen zoals aanbevelingssystemen, gedragsanalyse, sentiment analyse, advertentie targeting en het optimaliseren van content. Andere toepassingen die vaak genoemd werden zijn R&D, wetenschappelijk onderzoek en het verlagen van het risico in financiële omgevingen.

“Deze resultaten tonen wat we zelf ook al merkten in de markt,” zegt Nejde Manuelian, Director - Data Integration, EMEA & UK Operations bij Syncsort. “De interesse in Big Data in het algemeen en Hadoop in het bijzonder groeit snel in Europa, vooral de laatste twaalf maanden. Bedrijven worstelen met de groeiende hoeveelheid data die verwerkt moeten worden en kiezen voor Hadoop om deze problemen op te lossen.” Syncsort droeg recent ook een aantal verbeteringen bij aan Hadoop. De belangrijkste toevoegingslaat op het toelaten van externe sorteermechanismen in het Hadoop MapReduce raamwerk. Dat laat bedrijven toe sneller te ontwikkelen, complexe ETL-stromen en MapReduce jobs te bouwen zonder extra programmering en naadloos Hadoop te optimaliseren. De toevoeging vergemakkelijkt ook toepassingen die nu een uitdaging vormen binnen MapReduce zodat deze toepassingen sneller en meer efficiënt kunnen worden geïmplementeerd. Diverse Hadoop-organisaties hebben bijzonder positief gereageerd op de deze toevoegingen door Syncsort. “Met deze toevoegingen heft Syncsort een aantal belemmeringen binnen Hadoop op,” zegt Manuelian. “Dit helpt organisaties om hun big data initiatieven sneller door te zetten.”