Data Mesh (eBook)

Einleitung

Data Mesh ist der Impuls, der uns in der Art, wie wir an Daten herangehen, auf einen neuen Kurs bringt: wie wir uns Daten vorstellen, wie wir sie erfassen und weitergeben und wie wir aus ihnen Nutzen generieren – im großen Maßstab und im Bereich der Datenanalyse und der künstlichen Intelligenz. Dieser neue Kurs führt uns weg von der Zentralisierung von Daten und deren Ownership hin zu einem dezentralen Modell. Dieser neue Kurs trägt der Komplexität unserer Organisationen, ihrem schnellen Wandel und ihrem kontinuierlichen Wachstum Rechnung. Er zielt darauf ab, selbst große Organisationen in die Lage zu versetzen, trotz des Durcheinanders und der organisatorischen Komplexität einen Mehrwert aus Daten zu ziehen.

Wenn wir auf die Geschichte unserer Branche zurückblicken, haben wir schon einmal einen solchen Impuls erhalten. Die Entstehung von Unix und seiner Philosophie »Schreibe Programme so, dass sie nur eine Aufgabe erledigen und diese gut machen. Schreibe Programme so, dass sie zusammenarbeiten …« war vielleicht der Schmetterling, der mit seinen Flügeln schlug und die Voraussetzungen dafür schuf, dass wir Jahrzehnte später die Komplexität im Herzen von Software durch verteilte Architektur, serviceorientiertes Design, Kommunikation über Standard-APIs und autonome Domänenteams bewältigen konnten. Ich hoffe, dass Data Mesh die Voraussetzung für einen neuen Weg zur Bewältigung der Komplexität im Herzen von Daten in dem Bereich schafft, der sie am meisten benötigt, nämlich Datenanalyse und künstliche Intelligenz.

Ich habe die These von Data Mesh im Jahr 2018 formuliert, nachdem ich in großen und technologisch fortschrittlichen Unternehmen, die erhebliche Investitionen in ihre Datentechnologien getätigt hatten, häufig auftretende Fehler bei der Wertschöpfung aus Daten beobachtet hatte. Die beobachteten Schwierigkeiten bei der Skalierung von Systemen und der Organisation des Datenmanagements, um ihre ehrgeizigen Datenziele zu erreichen, führten dazu, dass ich die jahrzehntelangen Annahmen über die Art und Weise, wie wir aus Daten Wert schöpfen, infrage stellte: Wir sammeln sie, wir speichern sie zentral, wir beauftragen ein Datenteam mit ihrer Verwaltung, und dann lassen wir sie auf eine Vielzahl von Anwendungsfällen los. Diese Annahmen mussten überarbeitet werden.

Die Ideen hinter Data Mesh habe ich etwa zur gleichen Zeit auf einer O’Reilly-Konferenz in New York vorgestellt. Ich nannte den Vortrag »Beyond the Lake« (https://oreil.ly/O3hbf), denn ich bemühte mich, eines der schwierigsten Probleme in der IT zu lösen, nämlich »Dinge zu benennen«. Trotz meiner Befürchtung, harsche Kritik zu ernten, da ich mit frevelhaften Worten unsere Sichtweise auf Daten grundlegend veränderte, wurde der Vortrag vom Publikum positiv aufgenommen. Die Schmerzen von Menschen, die mit Daten arbeiten – Data Analysts oder Data Scientists – waren real; sie alle bemühten sich, zeitnah Zugriff auf qualitativ hochwertige und vertrauenswürdige Daten zu erhalten. Das Gleiche galt auch für die Data Engineers, die versuchen, Daten aus unzuverlässigen Datenquellen in eine Form zu bringen, die andere nutzen können, und das alles ohne engen Kontakt zur Fachabteilung. Die Führungskräfte im Publikum nickten bei der Feststellung, dass die Rendite ihrer Daten- und Analyselösungen nur mittelmäßig war. Ich verließ die Konferenz mit mehr Vertrauen in das, was nach den Lakes kommen könnte. Ein paar Monate später verpasste ich ein einwöchiges Treffen des Tech Advisory Board in China. Meine dreijährige Tochter hatte in der Nacht vor dem Abflug aus den USA Fieber bekommen. Ich schaffte es bis in das Flugzeug und verbarg meine Verzweiflung darüber, dass ich mich eine Woche lang von meinem kranken Kind trennen musste, aber als der Pilot der Besatzung ankündigte, dass die Türen des Flugzeugs geschlossen würden, brach ich zusammen. Ich verließ das Flugzeug. Jetzt hatte ich eine Woche Zeit, mich zurückzuziehen und die Gedanken und Erfahrungen mit Data Mesh in einem Artikel mit dem Titel »How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh« (https://oreil.ly/rxjiW) in Worte zu fassen, der freundlicherweise von Martin Fowler gehostet wurde. Der Artikel war ein voller Erfolg und wurde unglaublich oft gelesen, so als hätte ich gerade die Worte gesagt, an die andere im Stillen bereits gedacht hatten. Drei Jahre später geht nun dieses Buch detailliert darauf ein, warum Data Mesh wichtig ist, was es umfasst und wie man es umsetzt.

Warum ich dieses Buch geschrieben habe und warum gerade jetzt

In den wenigen Jahren, die seit der Vorstellung von Data Mesh vergangen sind, hat es enormen Anklang bei den Unternehmen gefunden, die es eingeführt hatten. Es hat Anbieter dazu ermutigt, zu versuchen, ihre Produkte so anzupassen, dass sie für Data-Mesh-Implementierungen geeignet sind. Es hat eine stetig wachsende Community geschaffen, die ihre Erfahrungen austauscht.

Trotz dieser rasanten Entwicklung schreibe ich dieses Buch vielleicht etwas früher, als ich es mir gewünscht hätte. Wir befinden uns noch in den Anfangsjahren eines grundlegend anderen Ansatzes bei der Bereitstellung und Erstellung von Daten für analytische Anwendungsfälle und Machine Learning. Aber unsere Branche hat die Tendenz, neue Konzepte und Buzzwords bis zur Unkenntlichkeit zu verdrehen. Daher habe ich beschlossen, jetzt dieses Buch zu schreiben, um eine gemeinsame Grundlage für künftige Entwicklungen von Data-Mesh-Implementierungen zu schaffen. Ich wollte sicherstellen, dass wir, bevor wir uns dazu hinreißen lassen, neue technische Lösungen zu entwickeln, verstehen, warum wir etwas ändern müssen, welche Probleme wir lösen wollen und wie wir das tun sollten.

Dieses Buch schafft eine Grundlage für die Ziele von Data Mesh, warum wir uns damit beschäftigen sollten und für seine Grundprinzipien. Wir schauen uns an, wie man die Grundprinzipien anwendet, um eine High-Level-Architektur zu schaffen, und ich gebe Ihnen Werkzeuge an die Hand, mit denen Sie die Implementierung umsetzen und die Organisation und Kultur verändern können.

Wer dieses Buch lesen sollte

Dieses Buch richtet sich an Menschen mit den unterschiedlichsten Rollen und Kompetenzen. Data Mesh ist ein Paradigmenwechsel, und es erfordert den gemeinsamen Einsatz vieler sich ergänzender Rollen und Disziplinen in Bereichen wie Softwarearchitektur, Softwareentwicklung und Administration bis hin zum Produkt- und Top-Level-Management sowie den Führungskräften, um es für ein Unternehmen Wirklichkeit werden zu lassen.

Hier ist eine kurze Zusammenfassung der Personas der Leserinnen und Leser und was sie aus diesem Buch mitnehmen können:

• Nutzer analytischer Daten wie Data Scientists und Data Analysts sollten dieses Buch lesen, um zu verstehen, was Data Mesh ihnen ermöglicht. Sie lernen, wie sie ihrerseits ihre Erkenntnisse und Schlussfolgerungen als neue Datenprodukte im Data Mesh bereitstellen.
• Datenlieferanten, wie Entwicklungsteams oder Data Engineers, sollten dieses Buch lesen, um zu verstehen, wie Data Mesh die beiden Welten der operativen und analytischen Daten und Anwendungen zusammenbringt. Sie werden sehen, wie ihre Rollen in funktionsübergreifende Domänenteams übergehen und welche Art von Architektur sie aufbauen müssen, um Data Mesh zu ermöglichen.
• Infrastruktur-Product-Owner, Softwarearchitekten und Softwareentwicklerinnen sollten dieses Buch lesen, um die Rolle und das Design einer Self-Service-Datenplattform zu verstehen, um eine Reihe von gut integrierten Diensten bereitzustellen, die es funktionsübergreifenden Domänenteams ermöglichen, Daten dezentral im großen Umfang zu teilen.
• Data-Governance-Teams sollten dieses Buch lesen, um die neue Struktur und den neuen Ansatz zur Erreichung von Governance-Zielen zu verstehen, die eine unabhängige Domänenverantwortung für Daten fördern, organisatorische Engpässe beseitigen und sich stark auf Automatisierung stützen. Dieses Buch stellt eine neue Rolle und Form für Data Governance vor.
• Führungskräfte und Manager sollten dieses Buch lesen, um den bevorstehenden Paradigmenwechsel zu verstehen und zu lernen, eine auf Data Mesh basierende Datenstrategie zu formulieren, die Transformation durchzuführen und ihre Organisation auf diesem Weg zu begleiten.

Dieses Buch richtet sich sowohl an Personen, die sich mit Daten und deren Analysen befassen, als auch an diejenigen, die sich mehr auf die Entwicklung von Software und deren Betrieb konzentrieren. Data Mesh schließt die Lücke zwischen diesen beiden Gruppen.

Wenn Sie einen Hintergrund in traditioneller Datenanalyse haben, vielleicht als Data Engineer oder Data Analyst, möchte ich Sie ermutigen, Ihre Vorurteile aus der Vergangenheit abzulegen. Seien Sie offen für neue Wege, das Problem der analytischen Datenverwaltung und -verarbeitung zu lösen. Akzeptieren Sie die...