Information Builders introduceert MapReduce Style Processing

iWay Parallel Service Manager biedt sterk schaalbare engine voor Enterprise Information Integration.

Information Builders kondigt de implementatie van MapReduce Style Processing aan, binnen zijn iWay Parallel Service Manager 6.1 platform. Dit platform ondersteunt sterk schaalbare informatie-integratie tussen een groot aantal verschillende databronnen.

MapReduce is een door Google geïntroduceerd concept waarbij een actie, bekend als ‘map’, wordt toegepast op elk item in een lijst. De uitkomsten van iedere ‘map’ kunnen worden verzameld of omgezet in een proces, bekend als ‘reduce’. Dit model stelt bedrijven in staat de overvloed aan data binnen de organisatie effectief te managen door het faciliteren van deelprocessen en het berekenen van grote datasets.

Met de iWay Parallel Service Manager brengt Information Builders MapReduce functionaliteit naar een reeds robuuste data integratie-oplossing. Met dit platform worden ‘map’ en ‘reduce’ binnen een processtroom uitgevoerd en zijn de items afkomstig van een lijst in een inputdocument. De processtroom wordt vervolgens voor elk item in de lijst parallel uitgevoerd, waardoor de resultaten verzameld kunnen worden in een apart document.

Wanneer een gebruiker bijvoorbeeld verschillende data stores tegelijkertijd opvraagt, kan de Parallel Control Agent simultaan processtromen uitvoeren, geconfigureerd met verbindingsinformatie van een lijst van connecties uit een inputdocument. De uitkomst van iedere vraag kan dan toegevoegd worden aan het uiteindelijke resultatendocument.

Het MapReduce concept wordt tevens gebruikt in document-stores, zoals iWay Archive. In iWay Archive kan een gebruiker een aanpassing, update of vraag opstellen en deze vervolgens laten uitvoeren op ieder document in de database. Een ‘reduce’-functie kan ook opgesteld worden om een enkel resultaat of een set van resultaten te berekenen, die dan worden toegeschreven aan een andere collectie in de document-store. In een geclusterde configuratie wordt de uitvoer van MapReduce over het cluster uitgevoerd voor efficiëntere verwerking.

Belangrijke productfeatures voor iWay Parallel Service Manager:
• Ondersteunt Enterprise Information Integration (EII)-scenario’s met  verbonden taken parallel uitgevoerd over een groot aantal databronnen, zoals Oracle, MUMPS en HL7
• Ondersteunt extract, transform, load (ETL)-scenario’s met parallelle extracten, transformaties en loads.
• Ondersteunt archivering van gegevens uit een groot aantal gegevensbronnen waarbij het laden, opvragen en de latere verwerking van de gegevens uit het archief parallel verloopt.
• Ondersteunt batch-georiënteerde Managed File Transfer (MFT) met een parallelle verwerking en distributie van bestanden.
“Organisaties worstelen met de integratie van veel meer informatie uit steeds meer verschillende databronnen”, zegt Dennis Bartels, Vice President Sales EMEA bij Information Builders. “Met de nieuwe mogelijkheden van onze Parallel Service Manager kunnen ondernemingen voordeel halen uit de prestaties en schaalbaarheid van MapReduce en zijn de resultaten terug te voeren naar een enkele vraag, ongeacht de hoeveelheid data die is opgevraagd of de aard van de databronnen.”

Bron: Information Builders