Business Intelligence Automatisierung durch Data Vault: Umsetzungen mit Microsoft SQL Server Integration Services und SAS Base

Dominik Kroner, geboren 1988 in Braunschweig, schloss sein Studium der Wirtschaftsinformatik an der Hochschule Hannover mit dem Schwerpunkt Business Intelligence im Jahre 2014 als Bachelor of Science ab. Bereits während des Studiums sammelte der Autor umfassende praktische Erfahrungen in diversen Projekten und Unternehmen. Das Tätigkeitsspektrum reichte dabei vom Aufbau von Data Warehäusern bis hin zur Entwicklung von OLAP-Anwendungen für Endanwender. Zurzeit arbeitet Dominik Kroner als BI-Berater bei der Dörffler & Partner GmbH. Christian Garbsch wurde 1986 in Hildesheim. Er schloss sein Studium der Wirtschaftsinformatik an der Hochschule Hannover mit dem Schwerpunkt Business Intelligence im Jahre 2014 als Bachelor of Science ab. Bereits während des Studiums sammelte der Autor umfassende praktische Erfahrungen in diversen Projekten und Unternehmen. Das Tätigkeitsspektrum reichte dabei vom Aufbau von Data Warehäusern bis hin zur Entwicklung von OLAP-Anwendungen für Endanwender. Zurzeit arbeitet Christian Garbsch als BI-Berater bei der Dörffler & Partner GmbH.

Textprobe:
Kapitel 3, Automatisierungsmöglichkeiten von Data Vault:
Bei dem DV-Modell bietet es sich an, eine Befüllung des Schemas zu automatisieren. Ermöglicht wird dies vor allem dadurch, dass das Modell immer aus den drei Entitätstypen Hub, Link und Satellit besteht und diese vom Grundsatz her immer gleich aufgebaut sind. Ein Ansatz für eine Automatisierung ist die metadatengesteuerte Generierung von Ladeprozessen. Bei diesem Vorgehen werden auf Grundlage von Metadaten komplette ETL-Strecken, wie beispielsweise die Befüllung eines Hubs von dem Quellsystem bis in das DV, generiert. Ein weiterer Ansatz ist die Erstellung eines einzelnen metadatengesteuerten Ladeprozesses. Dieser Prozess kann durch Metadatensteuerung alle Tabellen mit gleicher Verarbeitungslogik befüllen. Dies bietet sich besonders durch die einfache Verarbeitungslogik eines DV an. Beide Vorgehensweisen werden später näher erläutert. Der Vorteil der Metadatensteuerung beider Ansätze besteht darin, dass der Umgang mit der Automatisierung für einen Nutzer relativ einfach ist. Grund dafür ist, dass dieser nicht in irgendeiner Art und Weise in die Automatisierung eingreifen muss, sondern alle Änderungen, wie beispielsweise im DV, in den Metadaten erfolgen können. Sollten zum Beispiel neue Teile in das DV aufgenommen werden müssen diese nur dort definiert werden.
Der Ansatz des metadatengesteuerten Ladeprozesses wird allerdings von den wenigsten ETL-Tools unterstützt. Beispielsweise ist es laut Dörffler + Partner mit Informatica PowerCenter nicht ohne weiteres möglich. Microsoft SSIS unterstützt dieses Vorgehen ebenfalls nicht, wobei es von Drittanbietern, beispielsweise cozyrock, zusätzliche Pakete gibt, durch welche diese dynamische Prozesssteuerung wiederum möglich ist. Das einzige ETL-Tool, welches in Vorbereitung auf dieses Buch untersucht wurde und die Möglichkeit für einen metadatengesteuerten Ladeprozess bietet, ist Pentaho Kettle. Weiterhin denkbar ist eine solche Umsetzung mittels einer herkömmlichen Programmiersprache. Daraus entstand die Motivation im Rahmen dieser Untersuchung eine Umsetzung mit der Sprache SAS Base zu entwickeln. Diese Sprache ist auf die Verarbeitung großer Datenmengen ausgelegt und bringt viele bereits integrierte Möglichkeiten für die Verarbeitung von Daten mit sich. Im Folgenden werden beide Varianten der Metadatensteuerung näher erläutert.
3.1, Bestehende Automatisierungssoftware für Data Vault:
Es sind bereits einige Anwendungen mit diversen Automatisierungsfunktionen hinsichtlich des DV verfügbar. Die laut Dörffler + Partner bekanntesten werden in den folgenden vier Unterkapiteln betrachtet, wobei der Fokus auf den Möglichkeiten der automatisierten Befüllung eines DWH liegt. Alle Lösungen sind entweder speziell für DV entwickelt worden oder unterstützen es als Option neben anderen Modellierungsvarianten. Bis auf das PDI DV Framework stellen alle Lösungen umfassende DWH-Verwaltungssoftware dar. Sie können zum Beispiel eigenständig Metadaten erzeugen und pflegen, nötige Datenbankschemata aufbauen und befüllen sowie Änderungen daran verwalten.
Aufgrund des vorhandenen Angebots stellt sich die Frage, weshalb für dieses Buch zwei Eigenentwicklungen realisiert wurden. Der Hauptgrund ist, einen möglichst gerechten Vergleich der methodisch unterschiedlichen Ansätze zu ermöglichen. Von der bereits erhältlichen Software wäre das PDI DV Framework die einzige Umsetzung eines dynamischen Ladeprozesses. Es hat aber einen wesentlich geringeren Funktionsumfang als die anderen vorgestellten Anwendungen. Würde man diese Software als Vertreter für einen dynamischen Ladeprozess verwenden, wäre die Frage, welche Software zur Generierung der Prozesse als Vergleich herangezogen werden könnte. Die beiden für diese Untersuchung entwickelten Anwendungen hingegen sind von Anfang an darauf ausgelegt, sich möglichst gut miteinander vergleichen zu lassen. Sie werden beide auf identischen virtuel