Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop (eBook)
GRIN Verlag
978-3-656-43104-6 (ISBN)
verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des
erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten
die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und
die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das
Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil
der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende
Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund
wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden
Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open
Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster
erlaubt.
Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von
Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von
Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich
die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und
analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten.
Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut
zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die
Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax
das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase
automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte
Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur
Datenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster
gleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum
Betrieb einer Dataware-House Lösung eignet.
| Erscheint lt. Verlag | 27.5.2013 |
|---|---|
| Verlagsort | München |
| Sprache | deutsch |
| Themenwelt | Informatik ► Datenbanken ► MySQL |
| Mathematik / Informatik ► Informatik ► Programmiersprachen / -werkzeuge | |
| Schlagworte | big_data • Big Data • Cluster • data_mining • Data Mining • data_warehouse • Data Warehouse • ETL • Ganglia • Hadoop • HBase • Hive • hql • MapReduce • MySQL • NoSQL • PHP • SQL • thrift |
| ISBN-10 | 3-656-43104-3 / 3656431043 |
| ISBN-13 | 978-3-656-43104-6 / 9783656431046 |
| Haben Sie eine Frage zum Produkt? |
PDF (Ohne DRM)Größe: 3,0 MB
Digital Rights Management: ohne DRM
Dieses eBook enthält kein DRM oder Kopierschutz. Eine Weitergabe an Dritte ist jedoch rechtlich nicht zulässig, weil Sie beim Kauf nur die Rechte an der persönlichen Nutzung erwerben.
Dateiformat: PDF (Portable Document Format)
Mit einem festen Seitenlayout eignet sich die PDF besonders für Fachbücher mit Spalten, Tabellen und Abbildungen. Eine PDF kann auf fast allen Geräten angezeigt werden, ist aber für kleine Displays (Smartphone, eReader) nur eingeschränkt geeignet.
Systemvoraussetzungen:
PC/Mac: Mit einem PC oder Mac können Sie dieses eBook lesen. Sie benötigen dafür einen PDF-Viewer - z.B. den Adobe Reader oder Adobe Digital Editions.
eReader: Dieses eBook kann mit (fast) allen eBook-Readern gelesen werden. Mit dem amazon-Kindle ist es aber nicht kompatibel.
Smartphone/Tablet: Egal ob Apple oder Android, dieses eBook können Sie lesen. Sie benötigen dafür einen PDF-Viewer - z.B. die kostenlose Adobe Digital Editions-App.
Zusätzliches Feature: Online Lesen
Dieses eBook können Sie zusätzlich zum Download auch online im Webbrowser lesen.
Buying eBooks from abroad
For tax law reasons we can sell eBooks just within Germany and Switzerland. Regrettably we cannot fulfill eBook-orders from other countries.
EPUB (Ohne DRM)Digital Rights Management: ohne DRM
Dieses eBook enthält kein DRM oder Kopierschutz. Eine Weitergabe an Dritte ist jedoch rechtlich nicht zulässig, weil Sie beim Kauf nur die Rechte an der persönlichen Nutzung erwerben.
Dateiformat: EPUB (Electronic Publication)
EPUB ist ein offener Standard für eBooks und eignet sich besonders zur Darstellung von Belletristik und Sachbüchern. Der Fließtext wird dynamisch an die Display- und Schriftgröße angepasst. Auch für mobile Lesegeräte ist EPUB daher gut geeignet.
Systemvoraussetzungen:
PC/Mac: Mit einem PC oder Mac können Sie dieses eBook lesen. Sie benötigen dafür die kostenlose Software Adobe Digital Editions.
eReader: Dieses eBook kann mit (fast) allen eBook-Readern gelesen werden. Mit dem amazon-Kindle ist es aber nicht kompatibel.
Smartphone/Tablet: Egal ob Apple oder Android, dieses eBook können Sie lesen. Sie benötigen dafür eine kostenlose App.
Geräteliste und zusätzliche Hinweise
Buying eBooks from abroad
For tax law reasons we can sell eBooks just within Germany and Switzerland. Regrettably we cannot fulfill eBook-orders from other countries.
aus dem Bereich
