CWI bouwt applicatie voor analyse van grote continue datastromen

Onderzoekers van de Database Architecture-groep aan het Centrum Wiskunde & Informatica in Amsterdam hebben een databasesysteem ontwikkeld dat snel een grote continue stroom data kan analyseren. De onderzoekers combineren een systeem voor streaming met een database-systeem, en benutten zo de voordelen van beide technologiëen. Onderzoeker Erietta Liarou verdedigt komende dinsdag 22 januari haar proefschrift over deze nieuwe technologie aan de Universiteit van Amsterdam.

Gebieden zoals de financiële wereld, wetenschap en IT genereren dagelijk vele terabytes aan data. Talloze toepassingen, zoals beurshandel, wetenschappelijk onderzoek en de online advertentiemarkt, zijn afhankelijk van analyses van deze grote datastromen. Het real-time verwerken van deze data in plaats van opslaan en later analyseren heeft grote voordelen. Beurshandelaren zouden dan bijvoorbeeld verschillende aandelen kunnen laten monitoren, en een signaal krijgen als een bepaalde correlatie optreedt.

Traditionele databasesystemen zijn echter niet toegerust voor continue verwerking van data, en streaming-systemen kunnen slecht omgaan met grote datahoeveelheden. Liarou en haar collega's lossen dit op een innovatieve manier op door streaming-functionaliteit in te bouwen in MonetDB, het databasemanagementsysteem voor big data dat op het CWI ontwikkeld wordt. Het resulterende MonetDB/DataCell-systeem integreert opslag en analyse van data in hetzelfde systeem en kan een grote datastroom real-time analyseren. Bij grote hoeveelheden data presteert het beter dan commerciële systemen, volgens de onderzoekers van het CWI.
 

Big Data-onderzoek is onderdeel van onderzoeksthema Informatie van het CWI. Deze onderzoekslijn ontwikkelt methoden en technologieën om betekenisvolle informatie te genereren uit grote hoeveelheden data.