Apache Hadoop: verteilte Speicherarchitektur für große Datenmengen

Hadoop Common

Das Modul Hadoop Common stellt allen anderen Komponenten des Frameworks ein Set grundlegender Funktionen zur Verfügung. Dazu gehören die Java-Archivdateien (JAR), die benötigt werden, um Hadoop zu starten, Bibliotheken für die Serialisierung von Daten sowie Schnittstellen für Zugriffe auf das Dateisystem der Hadoop-Architektur und die Remote-Procedure-Call-Kommunikation (RPC) innerhalb des Computerclusters. Zudem finden sich im Hadoop-Common-Modul der Quellcode, die Dokumentation des Projekts sowie Informationen zu Unterprojekten.

Mit dem Release der Hadoop-Version 2.3 wurde die MapReduce-Engine grundlegend überarbeitet. Das Ergebnis ist die Cluster-Verwaltungstechnik YARN/MapReduce 2.0, die das Ressourcenmanagement und die Aufgabenverwaltung (Job Scheduling/Monitoring) von MapReduce entkoppelt und das Framework so für neue Verarbeitungsmodelle und eine breite Palette von Big-Data-Anwendungen öffnet.

Soll eine Big-Data-Anwendung auf Hadoop 2 ausgeführt werden, sind grundsätzlich drei Akteure involviert:

• ein Client,
• der ResourceManager und
• ein oder mehrere NodeManager.

Im ersten Schritt erteilt der Client dem ResourceManager den Auftrag, dass eine Big-Data-Anwendung im Cluster gestartet werden soll. Dieser alloziert infolgedessen einen Container. Mit anderen Worten: Der ResourceManager reserviert Ressourcen des Clusters für die Anwendung und kontaktiert einen NodeManager. Der angesprochene NodeManager startet den Container und führt in diesem einen ApplicationMaster aus, der wiederum dafür zuständig ist, die Anwendung auszuführen und zu überwachen.

Neben den Kernkomponenten umfasst das Hadoop-Ökosystem diverse Erweiterungen, die in separaten Software-Projekten vorangetrieben werden und einen wesentlichen Beitrag zu Funktionalität und Flexibilität des Software-Frameworks leisten. Aufgrund des offenen Quellcodes und zahlreicher Schnittstellen lassen sich diese optionalen Zusatzkomponenten beliebig mit den Kernfunktionalitäten kombinieren. Folgende Liste zeigt eine Auswahl der beliebtesten Projekte im Hadoop-Ökosystem:

• Ambari: Das Apache-Projekt Ambari wurde vom Hadoop-Distributor Hortonworks initiiert und ergänzt das Ökosystem um ein Installations- und Managementwerkzeug, das die Provisionierung (Bereitstellung von IT-Ressourcen) sowie die Verwaltung und das Monitoring von Hadoop-Komponenten erheblich erleichtert. Dazu bietet Apache Ambari einen Step-by-Step-Wizard für die Installation von Hadoop-Services auf beliebig vielen Rechnern im Cluster sowie eine Managementfunktion, mit der sich Services zentral starten, stoppen oder konfigurieren lassen. Eine grafische Benutzeroberfläche informiert Anwender über den Status des Systems. Darüber hinaus ermöglicht es Ambari mit dem Ambari Metrics System und dem Ambari Alert Framework, Metriken aufzuzeichnen und Alarmstufen zu konfigurieren.
• Avro: Bei Apache Avro handelt es sich um ein System zur Serialisierung von Daten. Avro greift auf JSON zurück, um Datentypen und Protokolle zu definieren. Die eigentlichen Daten hingegen werden in einem kompakten Binärformat serialisiert. Dieses dient als Datenübertragungsformat für die Kommunikation zwischen den verschiedenen Hadoop-Knoten sowie zwischen Hadoop-Services und Clientprogrammen.
• Cassandra: Apache Cassandra ist ein in Java geschriebenes, verteiltes Datenbankverwaltungssystem für große strukturierte Datenmengen, das einen nichtrelationalen Ansatz folgt. Man spricht in diesem Zusammenhang auch von NoSQL-Datenbanken. Ziel des ursprünglich von Facebook entwickelten Open-Source-Systems ist eine hohe Skalierbarkeit und Ausfallsicherheit in großen, verteilten Architekturen. Die Datenablage erfolgt auf Basis von Schlüssel-Wert-Relationen.
• HBase: Auch bei HBase handelt es sich um eine quelloffene NoSQL-Datenbank, die Schreib- und Lesezugriffe in Echtzeit auf große Datenmengen innerhalb eines Computerclusters ermöglicht. HBase fußt auf dem von Google entwickelten Hochleistungsdatenbanksystem BigTable. Im Vergleich zu anderen NoSQL-Datenbanken zeichnet sich HBase durch eine hohe Datenkonsistenz aus.
• Chukwa: Bei Chukwa handelt es sich um ein Datenerfassungs- und Analysesystem, das auf HDFS und MapReduce des Hadoop-Big-Data-Frameworks aufsetzt und ein Echtzeit-Monitoring sowie Datenanalysen in großen, verteilten Systemen erlaubt. Dazu setzt Chukwa auf Agents, die auf jedem zu überwachenden Knoten laufen und Logdateien der dort ausgeführten Anwendungen sammeln. Diese Dateien werden an sogenannte Collectors übermittelt und dort im HDFS gespeichert.
• Flume: Auch Apache Flume ist ein Service, der für das Sammeln, Aggregieren und Bewegen von Log-Daten konzipiert wurde. Um Daten zu Speicher- und Analysezwecken von verschiedenen Quellen an HDFS zu streamen, setzt Flume auf Transportformate wie Apache Thrift oder Avro.
• Pig: Bei Apache Pig handelt es sich um eine Plattform zur Analyse großer Datenmengen, die Hadoop-Anwendern die High-Level-Programmiersprache Pig Latin zur Verfügung stellt. Diese erlaubt es, den Datenfluss von MapReduce-Jobs auf einer abstrakten Ebene zu beschreiben. MapReduce-Abfragen werden somit nicht mehr in Java erstellt, sondern in der deutlich effizienteren Sprache Pig Latin programmiert, was die Verwaltung von MapReduce-Jobs deutlich vereinfacht. So lässt sich beispielsweise die parallele Ausführung komplexer Analysen besser nachvollziehen. Pig Latin wurde ursprünglich von Yahoo entwickelt. Der Name geht auf den Entwicklungsansatz der Software zurück: Wie ein „Allesfresser“ ist Pig darauf ausgelegt, alle Arten von Daten (strukturierte, unstrukturierte oder relationale) zu verarbeiten.
• Hive: Mit Apache Hive lässt sich Hadoop um eine zentrale, für Analysezwecke optimierte Datenbank, ein sogenanntes Data-Warehouse, erweitern. Die Software wurde von Facebook entwickelt und basiert auf dem MapReduce-Framework. Mit HiveQL verfügt Hive über eine SQL-ähnliche Syntax, die es ermöglicht, in HDFS gespeicherte Daten abzufragen, zusammenzufassen oder zu analysieren. Dazu übersetzt Hive SQL-artige Abfragen automatisch in MapReduce-Jobs.
• HCatalog: Eine Kernkomponente von Apache Hive ist HCatalog, ein Metadaten- und Tabellen-Managementsystem, das es erlaubt, Daten unabhängig vom Format oder der Struktur zu speichern und zu verarbeiten. Dazu beschreibt HCatalog die Struktur der Daten und erleichtert so die Verwendung durch Hive oder Pig.
• Mahout: Apache Mahout erweitert das Hadoop-Ökosystem um einfach erweiterbare Java-Bibliotheken für Data-Mining-Anwendungen und mathematische Anwendungen für maschinelles Lernen. Algorithmen, die sich mit Mahout in Hadoop implementieren lassen, ermöglichen Operationen wie Klassifizierung, Clustering und kollaboratives Filtern. In der Praxis kommt Mahout beispielsweise bei der Entwicklung von Empfehlungsdiensten zum Einsatz („Kunden, die diesen Artikel gekauft haben, kauften auch …“).
• Oozie: Die optionale Workflow-Komponente Oozie ermöglicht es, Prozessketten aufzubauen, diese zu automatisieren und zeitgesteuert auszuführen. Somit kompensiert Oozie das Defizit der MapReduce-Engine des Hadoop 1, mit der sich in der Grundkonfiguration keine Abhängigkeiten zwischen MapReduce-Job erzeugen lassen.
• Sqoop: Bei Apache Sqoop handelt es sich um eine Software-Komponente, die den Import und Export großer Datenmengen zwischen dem Hadoop-Big-Data-Framework und strukturierten Datenspeichern erleichtert. Daten werden in Unternehmen heutzutage in der Regel in relationalen Datenbanken gespeichert. Sqoop ermöglicht einen effizienten Austausch zwischen diesen Speichersystemen und dem Computercluster.
• ZooKeeper: Apache ZooKeeper schließlich bietet Services, um Prozesse im Cluster zu koordinieren, indem es Funktionen zur Speicherung, Verteilung und Aktualisierung von Konfigurationsinformationen bereitstellt.