Nieuw algoritme voor snellere analyse van Big Data

Aan het Johann Bernoulli Instituut van de Rijksuniversiteit Groningen (RUG) heeft Promovendus Danilo Barbosa Coimbra een algoritme ontwikkeld dat multidimensionale projecties maakt van grote gegevensbestanden. Analyse van Big Data zou met het algoritme sneller en nauwkeuriger zijn dan met andere programma’s. Ook heeft Coimbra het algoritme gebruikt om een programma te maken dat voetballiefhebbers helpt hoogtepunten uit wedstrijdvideo's te halen. Coimbra promoveert op 18 maart 2016 aan de RUG bij Alexandru Telea.

Volgens Coimbra bestaan grote gegevensbestanden doorgaans uit een groot aantal items, met voor elk daarvan een groot aantal variabelen of dimensies. Hi geeft als voorbeeld alle Nederlandse gemeenten die informatie produceren over een groot aantal zaken als het gemiddelde inkomen, lokale belastingtarieven enzovoort. Het is eenvoudig om van alle gemeenten bijvoorbeeld de hoogte van de hondenbelasting te vergelijken, maar veel moeilijker om in alle gegevens tegelijk te zoeken naar onverwachte uitkomsten.
"Het algoritme berekent het verschil tussen alle items in de dataset over alle dimensies. Vervolgens wordt het resultaat in een puntenwolk gezet, waarbij items die op elkaar lijken dichter bij elkaar staan." Via deze ‘projectie' is het mogelijk patronen in de gegevens te ontdekken. "De volgende stap is uit te zoeken welke dimensie dit veroorzaakt".
 
Visualisatie
Het door Coimbra ontwikkelde algoritme kan dat dit veel sneller dan bestaande methoden en bovendien levert het een projectie op met veel minder fouten. Die projecties kunnen twee- of driedimensionaal zijn. Een 3D-projectie is lastiger te interpreteren, maar de promovendus heeft hiervoor ook hulpmiddelen ontwikkeld. Het algoritme kan allerlei verschillende gegevens verwerken. De groep van Coimbra's promotor prof. Alex Telea, Wetenschappelijke Visualisatie en Computergrafiek, kan het gebruiken om via foto's te onderzoeken of verdachte plekjes op de huid kwaadaardig zijn.
 
WK voetbal
De uit Brazilië afkomstige Coimbra heeft zijn algoritme ook gebruikt voor een meer ontspannende toepassing. Hij maakte een programma dat video's van het laatste WK voetbal in Brazilië 2014 kan analyseren. "Het gebruikt informatie zoals het geluid van het publiek, het commentaar en gebeurtenissen zoals op welk moment in de wedstrijd goals of gele kaarten vielen". Aan de hand hiervan berekent het programma voor elke sectie van tien seconden hoe belangrijk deze is. "Alle secties komen als plaatje op het scherm, waarbij de grootte en de kleurintensiteit aangeven hoe belangrijk ze zijn. En er zijn icoontjes om bijvoorbeeld goals aan te geven.”
Op deze manier kunnen voetballiefhebbers snel de hoogtepunten uit een wedstrijd halen en die secties afspelen door op de bijbehorende plaatjes te klikken. "Maar je kunt ook wedstrijden met elkaar vergelijken of zien hoe verschillende commentatoren de wedstrijd beoordelen". Want een verslaggever zal enthousiaster reageren wanneer zijn eigen land scoort. Het programma is helaas nog niet beschikbaar voor voetballiefhebbers, zegt Telea. "Maar het is klaar voor gebruik, als zich een geïnteresseerde partij meldt".
 
Het promotieonderzoek van Coimbra vond plaats aan de universiteit van São Paulo en de RUG, binnen een ‘double degree' programma. Zijn proefschrift is getiteld Multidimensional projections for the visual exploration of multimedia data.