Percipient lanceert SparkPLUS voor snellere dataverwerking in Apache Spark

Percipient wil met haar oplossing SparkPLUS tegemoet komen aan gebruikers die geheugenproblemen ondervinden bij het werken met Apache Spark. Percipient is een in Singapore gevestigde startup.

Met SparkPLUS worden data eerst samengevoegd voordat ze aan Spark worden aangeboden, zodat er meer geheugenruimte overblijft voor realtime berekeningen. Volgens Percipient kan bij gebruik van gescheiden databronnen en multiple joins het geheugenbeheer van Apache Spark overbelast worden. CTO Ravi Shankar Nair van Percipient meent dat met SparkPLUS bedrijven nu probleemloos Spark kunnen inzetten, zonder te hoeven letten op geheugengebruik.

ANSI querytaal
SparkPLUS gebruikt een eigen in-memory datatoegangslaag en via een standaard ANSI querytaal worden verspreide databronnen met elkaar verbonden. Deze geaggregeerde laag wordt daarna via een JDBC connector aan het Spark cluster aangeboden. Hierdoor zijn partitionering en geheugenbeheer overbodig geworden. Ook maakt deze oplossing het volgens Percipient mogelijk dat een groot aantal gebruikers binnen een bedrijf tegelijk met het cluster aan de slag kan. SparkPLUS ondersteunt grootschalige multi-user data-omgevingen.

Meer informatie: Percipient