❌ Data Preparation ❌ Datenaufbereitung für Business Intelligence, wie Data Franchising, Data Blending, Data Wrangling, oder Data Munging ❗

Data Franchising ist ein 2003 von Richard Sherman von Athena Solutions geprägter Begriff, der sich auf die Aufbereitung oder Verpackung großer Datensätze in saubere, nutzbare Teile für die Entscheidungsfindung bezieht, insbesondere durch Business Intelligence (BI) und Analysesoftware. Zu den neueren Begriffen für die Aufbereitung von Daten für diese Zwecke gehören Data Blending, Data Munging und Data Wrangling.

Um die Benutzerfreundlichkeit und Leistung von BI- und Analysetools zu verbessern, bereitet das IRI-Datenmanipulationsprogramm (SortCL) – das die Standard-Engine im IRI CoSort-Produkt und in der IRI Voracity-Plattform ist – CSV- und XML-"Feed"-Dateien oder ODBC-Tabellen schnell auf. Der Hauptvorteil dieser externen Datenaufbereitung liegt in der Effizienz; der Aufwand für die Integration von Daten aus der BI-Schicht entfällt.

SortCL nimmt sehr große Eingabedaten aus Mainframe-Datensätzen, sehr großen relationalen oder NoSQL-Datenbanken, Geräte- oder Webprotokollen, HDFS, Cloud-Apps und anderen Dateien auf und führt gleichzeitig eine oder mehrere Datenintegrations- und Staging-Funktionen durch, die zu einer oder mehreren Ausgaben führen, wie z. B.:

• Auswählen/Filtern
• sortieren/zusammenführen
• aggregieren/berechnen
• Abgleichen/Verbinden
• bereinigen/anreichern
• verschlüsseln/maskieren
• Konvertieren/Reformatieren
• pivotieren/unpivotieren
• substring/benutzerdefiniert

Durch die Integration großer Mengen sequenzieller Daten in das Dateisystem nimmt SortCL den Overhead der Datentransformation aus der BI-Schicht heraus. Durch die Kombination und das Multi-Threading der Big-Data-Manipulationen spart SortCL außerdem Zeit bei der Auftragserstellung, den Berechnungen und den E/A-Zyklen. Die Einsparungen machen sich auch im BI-Frontend bemerkbar, da Abfrage und Anzeige (Antworten) bei kleineren Eingaben schneller sind.

SortCL von CoSort wird routinemäßig für das Franchising von Daten in BI-Plattformen wie BIRT, Business Objects, Cognos, Cubeware, Microstrategy, QlikView, Spotfire, Splunk, Tableau und Excel Spreadmarts eingesetzt. IRI arbeitet auch direkt mit den besten Dashboard- und Analyseanbietern wie Crossing Technologies, Dimensional Insight, IVIZ Group (iDashboards) und NextCoder (DW Digest) zusammen, um die Anzeigen in diesen Plattformen zu füllen. SortCL kann auch Daten für SOA, Webservices, Datenmodellierung, Sicherheit und erweiterte statistische Anwendungen wie R, SAS und SPSS vorbereiten.

Sobald die aufbereiteten Daten in die BI-Plattform eingespeist wurden, können die Benutzer eine Vielzahl von benutzerdefinierten Abfragen, Modifikationen und dynamischen Berichten ausführen, um die Daten auf mehreren Granularitätsebenen zu visualisieren und mit ihnen zu interagieren, und ihre Daten durch zusätzliche Abfrage- und Anzeigeprozesse zu führen.

Da die IRI Workbench IDE, die CoSort und Voracity unterstützt, auf Eclipse läuft, können Benutzer von Business Intelligence Reporting Tool (BIRT) oder KoNstanz Information MinEr (KNIME) SortCL-Datenziele direkt nutzen und benutzerdefinierte Berichte in derselben Umgebung erstellen. Sie können sogar eine IRI-Datenquelle in BIRT über ODA oder in einem speziell entwickelten Voracity-Provider für KNIME spezifizieren, um die Datenintegration in derselben Laufzeitoperation mit dem Reporting, der Analyse, dem maschinellen Lernen und anderen Data-Science-Aktivitäten zu kombinieren.

Schließlich enthält SortCL selbst auch Standard-Berichtsfunktionen. Das bedeutet, dass Sie Detail-, Zusammenfassungs- und Delta-Berichte (normalerweise in Batch-Prozessen) ausführen und gleichzeitig Daten für anspruchsvollere BI-Tools freigeben können. Aus diesem Grund und wegen der oben genannten Verbindungen zu Analysetools von Drittanbietern hat der BI/DW-Branchenguru Dr. Barry Devlin IRI Voracity 15 Jahre später (im Jahr 2018) zur "Production Analytic Platform" erklärt.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.