Internet of Things versterkt behoefte aan 'Fast Data'

Het aantal nuttige toepassingen van het Internet of Things neemt enorm toe. Hoe verschillend deze toepassingen ook zijn, ze hebben allemaal gemeen dat er voor ieder product een centrale plek moet zijn die de stortvloed aan data efficiënt en doeltreffend verwerkt en daarop reageert. De groei van IoT voedt daarmee de ontwikkeling van het snel verwerken van grote hoeveelheden data, oftewel 'Fast Data'.

Een mooie toepassing van IoT zou een volledig automatisch werkend systeem kunnen zijn dat verkeersstromen over snelwegen in goede banen leidt. Onder de weg liggen de bekende detectielussen die van iedere rijbaan bijhouden hoeveel verkeer er overheen rijdt, met welke snelheid en wat de eventuele acceleratie is. Dat levert in de spitsuren van de dag al enorme hoeveelheden data op.
Het verkeer zelf produceert tegelijkertijd nog veel meer data. Mobiele telefoons die het netwerk 'vertellen' waar ze zijn, Google die van ieder mobieltje met geactiveerd Google-account weet waar het zich bevindt, de routeplanners die bestuurders gebruiken, en in de nabije toekomst produceren de 'automatische piloten' in vervoersmiddelen allemaal grote hoeveelheden data.

Om optimaal te kunnen functioneren zou een verkeersregelsysteem al deze verschillende soorten informatie, afkomstig van verschillende bronnen en in afwijkende datatypen, direct kunnen verwerken, normaliseren, analyseren en - nog belangrijker - direct en zonder menselijke tussenkomst kunnen terugkoppelen aan bijvoorbeeld de verkeersborden die boven de snelweg hangen. Zo kunnen automatische piloten van de vervoersmiddelen bijvoorbeeld doorgeven dat er verderop een file ontstaat.

IoT voorbereid op datastortvloed?
Er zijn grofweg vier ontwikkelingsfases te onderscheiden van het IoT. In de eerste fase vindt de informatie-uitwisseling plaats tussen een gebruiker en een menselijke analist, met daar tussenin het databasesysteem. De verwerking van alle data door de transactionele database, de normalisering van data en opslag in het datawarehouse (fase 2) kosten relatief veel tijd. Het aanmaken van de rapporten en de menselijke analyse (fase 3) ook. De terugkoppeling (fase 4) verloopt dus altijd met vertraging. Het is duidelijk dat IoT in deze fase bij lange na niet voldoet aan de eisen om bijvoorbeeld het hiervoor geschetste verkeersregelsysteem in goede banen te leiden.

Berichtenbus
De vierde fase van IoT wordt steeds efficiënter. De uitwisseling van informatie verloopt hier volledig zonder menselijke tussenkomst. Alle data van de invoerapparaten komt binnen in een 'berichtenbus' die de data ofwel direct doorstuurt naar het realtime analysesysteem, of de transactiedatabase inpompt. Rapporteren is er niet meer bij, het analysesysteem koppelt direct terug naar de invoerapparaten en eventuele apparaten die aan de 'andere kant' van de IoT-toepassing zijn gekoppeld.

Dit type databasesysteem kan veel meer data verwerken dan systemen die zich nog in de eerste fase van IoT bevinden. Toch hebben ook deze geavanceerde databasesystemen een Achilleshiel die echte Fast Data in de weg staat. Ze maken nog steeds gebruik van een transactiedatabase, een apart ETL-systeem voor normalisering en doorvoer naar het eveneens van de rest gescheiden datawarehouse. Hoe krachtig deze systemen tegenwoordig ook zijn, het kost tijd om data op deze manier te verwerken en door te voeren van systeem naar systeem en dat levert toch enige vertraging op in de analyse en terugkoppeling van data. Te veel om Fast Data mogelijk te maken.

Behoefte aan database omnivoor
De toename van Big Data en IoT creëren dus een behoefte aan één universeel databasesysteem dat kan omgaan met vele typen data, verschillende databasestructuren en enorme hoeveelheden data zelf normaliseert en real time analyseert. De transactiedatabase, het ETL-systeem en de datawarehouse zijn in zo'n systeem vervangen door één systeem dat de data normaliseert en analyseert. InterSystems ontwikkelt dit soort systemen al jaren voor de medische wereld en andere grote organisaties. De voordelen van zo'n 'database omnivoor' zijn overduidelijk: IoT-toepassingen werken zonder vertraging, er hoeft niet te worden geïnvesteerd in de ontwikkeling en het onderhoud van allerlei integratiesystemen en het gehele systeem is relatief eenvoudig op te schalen. Hiermee komt Fast Data binnen handbereik.