Confluent lanceert KSQL, een SQL-engine voor Apache Kafka die gebruikers in staat stelt om continu interactieve SQL query's op streaming data uit te voeren. De engine, die momenteel nog in developer preview is, moet volgens Confluent de toegang tot gegevens uit stream processing eenvoudiger maken.
Ontwikkelaars die veel met stream processing engines werken moeten zeer ervaren zijn in hoogwaardige talen als Java, C #, Python. Zelfs Kafka Streams, de engine die deel uitmaakt van het open source Apache Kafka-project, is een Java-bibliotheek en vereist Java-vaardigheden en -kennis om het effectief te gebruiken. De nieuwe KSQL stream processing engine van Confluent vereist daarentegen alleen dat de gebruiker SQL beheerst. Hierdoor kan de software ook door analisten gebruikt worden die goed vertrouwd zijn met SQL.
Volgens CTO Neha Narkhede van Confluent verlaagt KSQL de drempel voor werken met stream processing, door een eenvoudige en volledig interactieve SQL-interface te bieden voor het verwerken van data in Kafka. "U hoeft geen code meer te schrijven in een programmeertaal zoals Java of Python!"
Binnen KSQL
KSQL bestaat uit verschillende componenten, waaronder een serverproces dat query’s uitvoert. Een cluster kan meerdere KSQL-processen uitvoeren en de gebruiker kan ze toevoegen of stoppen. Query’s worden gelanceerd met behulp van een interactieve KSQL command line client, die de opdrachten naar het cluster verzendt met behulp van een REST API.
KSQL is gebaseerd op Kafka Streams, de open source stream processing engine die onderdeel is van het Kafka project. "KSQL maakt intern gebruik van Kafka's Streams API en beide delen in de kern dezelfde abstracties voor stream processing op Kafka," schrijft Narkhede in haar blog.
Functies
KSQL ondersteunt een reeks veel voorkomende SQL-operaties, waaronder aggregaties, joins, windowing en sessionization. Volgens Confluent zullen mettertijd andere functies toegevoegd worden, zoals lookups, een rijkere SQL-grammatica, meer aggregatiefuncties en point-in-time SELECT op continue tabellen.
Een van de toepassingen die Confluent voorziet is streaming ETL. Gebruikers kunnen KSQL inzetten om een transformatie te schrijven, die continu zal draaien op de inkomende gegevensstroom, in tegenstelling tot het uitvoeren van een batchbewerking. KSQL maakt volgens Narkhede een beweging mogelijk van batchdata-integratie naar online data-integratie.
KSQL is niet de eerste SQL engine die wordt gebruikt met streaming analytics, denk aan SQLstream dat in gebruik is bij AWS als basis voor Amazon Kinesis Analytics. Nieuw is het feit dat SQL-gebaseerde datatransformatie nu deel uitmaakt van Kafka.
Meer informatie: Confluent
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
17 oktober 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen i...
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
21 november 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een h...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
28 november 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten v...
Deel dit bericht