De Apache Software Foundation heeft aangekondigd dat Apache Paimon van incubatieproject tot Top-Level Project is gepromoveerd. Paimon is een data lake formaat dat real-time lakehouse architecturen mogelijk maakt, gebouwd met Apache Flink en Apache Spark voor streaming en batch operaties. Paimon combineert op innovatieve wijze lake format en log-structured merge-tree (LSM) om real-time streaming updates in het data lake te brengen.
Paimon, voorheen bekend als Flink Table Store, werd voor het eerst ontwikkeld door de Flink-gemeenschap. Paimon wordt wereldwijd gebruikt in productieomgevingen door bedrijven als Alibaba, Ant Group, Bytedance, China Unicom en Tongcheng. Feng Wang, hoofd Open Data Platform bij Alibaba Cloud, is blij dat Paimon nu een ASF-project van topniveau is geworden. "Paimon stelt Alibaba nu in staat om real-time updates en analyses uit te voeren op Lakehouse-architectuur, en we zullen Paimon in de toekomst ook inzetten voor AI-activiteiten."
Als streaming data lake platform stelt Paimon gebruikers in staat om gegevens te verwerken in zowel batch als streaming modi. De belangrijkste kenmerken en voordelen zijn
• Snelle gegevensverwerking: Paimon's append tabel (geen primaire sleutel) biedt grootschalige batch- en streamingverwerkingsmogelijkheden;
• Flexibele updates: Paimon geeft gebruikers de flexibiliteit om te kiezen bij het updaten van records, inclusief deduplicatie om de laatste rij te behouden; gedeeltelijke updates; aggregatierecords; updates van de eerste rij;
• Snelle real-time analyse: Door gebruik te maken van Flink Streaming ondersteunt Paimon's primaire sleuteltabel real-time streaming updates van grote hoeveelheden gegevens. Paimon voert real-time query's uit binnen een minuut;
• Vereenvoudigde Changelog productie: Paimon vereenvoudigt de streaming analytics van gebruikers door nauwkeurige en volledige changelog updates te produceren voor merge engines; en
• Data Query's met lage latentie: Paimon ondersteunt gegevensverdichting met z-order sortering om de bestandsindeling te optimaliseren. Door indexen zoals minmax te gebruiken, maakt Paimon ook snelle query's mogelijk op basis van data die wordt overgeslagen.
16 mei 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een heront...
29 - 31 mei 2024Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare rich...
3 t/m 5 juni 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare richtl...
10 t/m 12 juni 2024 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Managem...
14 juni 2024 (halve dag online) Praktische en interactieve workshop met Nigel Turner In ons digitale tijdperk willen veel organisaties datagedreven worden en investeren zij fors in nieuwe technologieën om dit mogelijk te maken. Maar deze ...
17 t/m 19 juni 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en prakti...
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
17 oktober 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen i...
Deel dit bericht