. Paralleles Entladeprogramm für sehr große Datenbanken: ETL, Reorgs & Migration! Ein schneller Extraktionsschritt kann eine kritische Komponente sein: Datenbankarchivierung und -replikation Datenbankberichte und Migrationen Data Warehouse ETL-, ELT- und ODS-Operationen Offline-Berichterstattung und Schutz von Massendaten IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT […]
. Integrieren, bereinigen, analysieren und auf Daten reagieren – alles auf einmal! Eine "Production Analytic Platform" ist ein modernes Datenintegrations-Paradigma, das von Barry Devlin, PhD, definiert wurde und Datenprozesse mit Informationen in einer Post-Data-Warehousing- und Data-Lake-Welt gleichsetzt. Die Production Analytic Platform vermählt Datenaufbereitung und -präsentation in Design- und vor allem […]
PII in unstrukturierten Datenquellen: Definieren, erkennen und de-identifizieren! Mit IRI DarkShield können Sie Daten in mehreren semistrukturierten und unstrukturierten Dateiformaten und RDB-Spalten auf einmal klassifizieren, finden und löschen oder anderweitig maskieren (ebenso wie Gesichter und NoSQL DBs), indem Sie gemeinsame Datendefinitionen und benutzerdefinierte Kombinationen von Such- und Maskierungsfunktionen verwenden. […]
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen. Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, […]
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen oder PowerBI-Performance Migrations- oder Replikationsarbeiten Schlechte Datenqualität oder Einheitlichkeit Zugriffs- und Aktivitätskontrolle, Überwachung […]
Herausforderungen: Anwendungen und Datenbanken haben ihre eigene Logik und einzigartigen Eigenschaften. Damit Testdaten in diesen Kontexten nützlich sind, müssen sie Produktionsmerkmale widerspiegeln, wie z.B: Auswahlbedingungen (Geschäftsregeln) Spaltenattribute und Transformationen Inter-Feld/Schlüssel-Beziehungen (referentielle Integrität) Wertebereiche und spaltenübergreifende Berechnungen Auch Testdaten zur Produktionsqualität müssen diese Attribute aufweisen: Typ – korrekte Spalten-/Feldwerte und Formate […]
Herausforderungen: Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend! Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools […]
Datenmaskierung: Der Schutz von personenbezogenen Daten! Inmitten pausenloser Berichte über Datenschutzverletzungen und einem wachsenden regulatorischen Umfeld für persönliche identifizierbare Informationen (PII) weltweit, sind mehrere Technologielösungen und Compliance-Dienste entstanden, um den Schutz von PII zu thematisieren. Die logische Sicherheit durch Verschlüsselung in der einen oder anderen Form ist ein gemeinsamer Nenner […]
Herausforderungen: Pentaho Data Integration (PDI) ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber auch einige Mängel auf! 1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge. 2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden. […]
Herausforderungen: Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage. Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder […]
