Die Nachteile von Erasure Coding bei Object Storage

Erasure Coding ist effizient für die Fehlerbehebung in Datensystemen, kann bei Object Storage aber zu Latenzproblemen führen.

Erasure Coding ist eine Technik für Fehlerkorrekturen, die genutzt wird, um Datenstabilität und langfristige Datenintegrität in großen Datensystemen zu gewährleisten. Erasue Codes oder auch Erasure Corretion Codes (ECC) werden oft statt traditionellem RAID-Schutz verwendet. Das liegt daran, dass ECC granularere Korrektur-Prozesse bietet sowie den Zeitaufwand und den Overhead für Datenrekonstruktionen bzw. Drive Rebuilds minimiert.

Erasure Coding teilt eingehende Daten in verschiedene Komponenten-Blöcke und erweitert dann jeden Block mit zusätzlichen Informationen. Dies ähnelt einer Paritätsberechnung und erstellt einen stabileren Satz an Daten. Mit entsprechenden mathematischen Algorithmen kann das System diese erweiterten Blöcke nutzen, um die originalen Daten wiederherzustellen, selbst dann, wenn ein Block korrupt oder verloren gegangen ist. Das ermöglicht es dem Speichersystem selbst dann Daten bereit zu stellen, wenn mehrere Drives oder Nodes ausgefallen sind.

Ersaure Coding lässt sich mit Datenverteilung oder Datenausbreitung kombinieren, um die Stabilität zu verbessern.

Die meisten Erasure-Coding-Verfahren erlauben dem Anwender, einen bestimmten Grad an Stabilität umzusetzen. Dies erfolgt durch die Generierung von mehr Paritätsdaten pro Block. Erasure Coding lässt sich auf verschiedenen Ebenen anwenden: auf Array-Ebene, auf Node-Ebene (für Scale-Out-Architekturen) oder auf System-Level. Das wiederum bestimmt, wie viel Verarbeitungs-Overhead benötigt wird.

Und genau das kann zu einem Nachteil werden, wenn man Erasure Coding verwendet. Es benötigt Rechenleistung (Compute), oftmals weitaus mehr als bei Objekt-Replikation, bei der einfach nur die gewünschte Anzahl an Datenkopien angelegt wird. Wie viel Overhead bei Erasure Coding letztlich verbraucht wird, hängt davon ab, wo es zum Einsatz kommt (Array/Node/System) und den Grad der Datenstabilität, die man erreichen will.

Erasure Coding lässt sich mit Datenverteilung oder Datenausbreitung kombinieren, um die Stabilität zu verbessern und die Notwendigkeit an dedizierten Kopien für externe Speicherstandorte zu eliminieren. Dieses Verfahren verteilt die Datenblöcke über multiple Nodes oder Systeme, die sich normalerweise an verschiedenen physischen Standorten befinden. Allerdings kann diese Verteilung von Daten über unterschiedliche geografische Standorte hinweg zu Latenzproblemen führen.

Falls diese Daten einmal wiederhergestellt werden müssen, wird die Netzwerkbandbreite sehr schnell zum limitierenden Faktor, wenn die Blöcke über das WAN geholt werden müssen. Einige Object-Storage-Systeme kombinieren Erasure Coding und Replikation, indem sie das ECC lokal auf System-Level einsetzen und die Daten zusätzlich zwischen geografischen Standorten replizieren, um Latenzen zu verringern.

Folgen Sie SearchStorage.de auch auf Facebook, Twitter und Google+!

Artikel wurde zuletzt im Dezember 2014 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Erfahren Sie mehr über Data-Center-Storage

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close