Teradata wint text-mining hackathon

Onlangs werd in Brussel de Euroclear Text Mining Hackathon gehouden. Tijdens dit door European Data Innovation Hub georganiseerde evenement destilleren deelnemers met text mining-technologie specifieke financiële informatie uit zevenduizend juridische documenten. Na twee dagen van text-mining kwam het team van Teradata als winnaar uit de bus.

De European Data Innovation Hub is een Belgische organisatie die dataprofessionals in heel België ondersteunt met onder andere netwerkactiviteiten, evenementen, trainingen en een e-learning platform. Een van de initiatieven is het organiseren van text-mining hackathons, die als doel hebben tekstanalyse naar een volgend niveau te brengen. Dit moet bijdragen aan het ontwikkelen van tekstgebaseerde softwareoplossingen, die door middel van intelligente analyse helpen om operationele werkzaamheden te vergemakkelijken en organisaties efficiënter te maken.

Flinke concurrentie
De concurrentie tijdens het event was hevig, met grote namen onder de deelnemers, zoals IBM Watson, Anatella/Timi, Teradata en Hadoop Scala. Zij gingen met elkaar de strijd aan, maar ook met diverse teams van jonge python-programmeurs. Het winnende team van Teradata was bijzonder gelukkig met de overwinning tussen deze getalenteerde experts en hun indrukwekkende technologische middelen.

Slimme mix
Om hun overwinning veilig te stellen gebruikten de teamleden van Teradata een mix van machine learning-algoritmes, bestaand uit robuuste feature extraction en engineering-technieken, samen met een uitgebreide set van op regular expressions gebaseerde regels. Op het technologische vlak gebruikte het team vanaf het begin het Aster data science platform, waarmee de winnende resultaten in een recordtijd werden opgeleverd. Het Aster-platform staat bekend om de hoge prestaties, en dit bleek een belangrijke de reden te zijn voor het succes van het team van Teradata dat zowel in de training- als de laatste testfases veel eerder dan de andere teams de eindstreep wist te halen.

Aster
Het winnende team bleef gedurende de hackathon Aster gebruiken om de koppositie vast te houden. Gedurende een paar uur in de vroege ochtend moest die eerste plek even afgestaan worden aan het ‘machtige Python’-team, dat toen een onverwachte uitbarsting van creativiteit had. Maar nadat de nummer-1 positie werd terugveroverd door het Teradata-team, hield het deze vast tot de uiteindelijke overwinning.

Meer informatie: European Data Innovation Hub