Cloud-Storage-Optionen: Object Storage oder Hadoop?

Object Storage und Hadoop sind gute Cloud-Storage-Optionen, wobei Hadoop nützlicher ist, wenn man Big-Data-Analytics in die Cloud bringen will.

Sowohl Object-Storage-Systeme als auch Hadoop sind praktikable Cloud-Storage-Optionen. Wer allerdings Big-Data-Analytics in der Cloud durchführen möchte, der ist besser mit Hadoop beraten.

Es gibt viele Optionen für Cloud-Storage, aber das beste Cloud-Storage-System für die existierenden Applikationen zu finden, ist nicht immer einfach. Eine Option, die sich hier bietet – insbesondere, wenn die Anwendungen Zugriffskontrolle benötigen – ist der Einsatz eines Object-Storage-Systems. Anwender, die Cloud für Big-Data-Analytics nutzen möchten, sollten auch Hadoop-Lösungen in Betracht ziehen.

Object-Storage-Systeme wie AWS S3, Microsoft Azure Blob und Google Cloud Storage erlauben es Anwendern, beliebige Objekte langfristig in einem stabilen und hoch verfügbaren System abzulegen, das unabhängig von VM-Instanzen ist (virtuelle Maschine). Apps und Nutzer können auf die Daten in Object Stores über ein einfaches API zugreifen. Diese APIs basieren typischerweise auf einer REST-Architektur, allerdings sind auch Interfaces, die speziell dafür programmiert wurden, einsetzbar.

Object Storage gewährleisten Zugangskontrollen, um die Daten-Prozesse einzuschränken. Administratoren können die Zugangskontrolle auf „Bucket Level“ (ähnlich einem Directory) oder auf Objekt-Ebene einrichten (ähnlich einer Datei in einem Directory). 

Die Authentifizierung und Autorisierung für diese Object Stores wird über ein Identity Management System des Cloud-Providers oder einen Directory-Service verwaltet. Bei letzterem verwendet man ein On-Premise (also lokales) Directory, das mit dem Cloud-basierten Directory synchronisiert wird, um alle Rollen und Funktionen der Zugangskontrolle in einem einzigen Repository zu konsolidieren.

Diejenigen Anwender, die Cloud für Big-Data-Analytics nutzen wollen, haben zusätzliche Optionen, wenn es um Storage geht. Dazu gehören beispielsweise AWS Elastic MapReduce (EMR) oder Hadoop-Services. Hadoop wurde in Java geschrieben, basiert auf MapReduce und arbeitet mit dem Hadoop Distributed File System (HDFS), was die Sicherung sehr großer und verteilter Datenmengen gewährleisten soll.

Wird ein Hadoop-Cluster mittels EMR eingerichtet, so lassen sich Daten aus AWS S3 oder anderem Storage in HDFS innerhalb des Clusters kopieren. Ebenso kann direkt auf die Daten in S3 zugegriffen werden. HDFS nutzt lokales Storage und gewährleistet in der Regel bessere Performance als S3. 

Allerdings dauert es, die Daten von S3 in HDFS zu kopieren, bevor man einen Hadoop-Job anstößt. Soll der EMR-Cluster längere Zeit operieren und die gleichen Daten in mehreren Jobs nutzen, so ist der Aufwand des Umkopierens von S3 in Hadoop durchaus gerechtfertigt.  

Cloud-Storage-Optionen sollen viele Anforderungen bedienen. Will man aber den richtigen Storage für seine individuellen Anforderungen finden, so muss man nach einer sinnvollen Balance zwischen Latenzen, Bedienungsfreundlichkeit, Datenintegrität und Kosten suchen.

Archivierungskosten kontrollieren

Ein anderes Anwendungsgebiet für die Cloud ist die Archivierung. Dieser Prozess erlaubt das Kopieren von Daten in ein äußerst stabiles Storage-System, das die Informationen langfristig vorhält und ebenso lange verfügbar macht. Um Archivierungskosten unter Kontrolle zu halten, sollte man folgende Dinge beachten:

  • Archivdaten werden nur einmal geschrieben und meist nicht häufig gelesen. Deswegen muss es eine Priorität sein, Archivkosten überschaubar und gering zu halten.
  • Object-Storage lässt sich für Datenarchive nutzen, es sei den Anwender müssen schnell und mit geringen Latenzen auf die Daten zugreifen. Dann könnten die Kosten etwas höher liegen.
  • AWS offeriert den Storage-Service Glacier für Archivierung, der weitaus weniger kostet als S3. Daten aus Glacier zurückzuholen kann manchmal Stunden dauern, was es für viele Anwendungen unbrauchbar macht.

Folgen Sie SearchStorage.de auch auf Twitter, Google+ und Facebook!

Artikel wurde zuletzt im März 2015 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close