MonetDB/DataCell: leveraging the column-store database technology for efficient and scalable stream processing

Het is mogelijk om grote datasystemen te ontwerpen die kunnen omgaan met binnenkomende datastromen en deze kunnen combineren met bestaande data, blijkt uit de onderzoeksresultaten van Erietta Liarou.

Liarou richtte zich op de vraag hoe generieke datamanagementsystemen gebouwd kunnen worden die hun verwerkingsmodel kunnen aanpassen afhankelijk van de manier waarop gegevens en query's beschikbaar komen.

Vandaag de dag moeten online analytische programma’s kunnen omgaan met een snelle datastroom. Zo proberen nieuwe toepassingen in de mobiele sector de datastroom te gebruiken voor reclame en routering. In dezelfde lijn vereisen grootschalige Cloud-infrastructuren een continue monitoring om de stabiliteit te waarborgen en cyberaanvallen te kunnen pareren. Wetenschappelijke databases en webloganalyses vereisen een efficiënte verwerking van data voor de ondersteuning van de besluitvorming.

Het omgaan met continuous queries (query’s die voor een lange tijd actief blijven) en het snel analyseren van grote datastromen in combinatie en vergelijking met reeds opgeslagen informatie kan met de huidige database- en streaming(datastroom)-technologie nog niet goed worden uitgevoerd. Databasesystemen missen de functionaliteit voor de verwerking van continuous queries, en streaming-systemen schalen niet. Liarou zocht naar een oplossing voor dit probleem door de beste eigenschappen van beide werelden te combineren.