Kommentar zu „Globale Deduplizierung“

Die umfassende Reduzierung der Redundanz

Für die Byte-Theoretiker des Umfangs menschlichen Wissen ist das sicherlich kein schöner Gedanke: Das Internet deduplizieren. Der aktuell gerne in Millionen und Milliarden Byte angegebenen Umfang von Wissen würde all seiner Duplikate beraubt, inklusive aller Vorkommnisse von ist, sein, wird, und und oder und so weiter.

Könnte sein, dass die drei- oder vierstelligen Exabytes dann auf wenigen Festplatten mit Terabyte-Kapazität Platz fänden. Wir werden diese wahrlich wünschenswerte Schrumpfkur nicht so schnell erleben, da das Wort global in der IT reine Angeberei ist.

Mandantenfähige Deduplizierung?

Ich selbst hatte in einem mehr als Scherz gedachten Text schon vor einiger Zeit mal die Deduplizierung einer Storage-Cloud und das riesige Einsparpotential an Speicherkapazität angedacht. Bis dahin ist noch ein weiter Weg, vor allem, wenn man die weltläufige Idee herstellerübergreifender Interoperabilität mal wieder ins Spiel bringt.

Die Reaktionen der Hersteller kann ich mir gut vorstellen, die mit Sicherheit ihren geheimen Dedup-Algorithmus wie einen Schutzschild vor sich halten werden. Wahrscheinlich hat nicht mal die SNIA ein Interesse an diesem Thema, da die Re-Duplizierung mit ein wenig Rechenleistung in einer absehbaren Zeitspanne bewältigbar ist und anschließend das Deduplizierungssystem einfach ausgetauscht werden könnte. Der berüchtigte Vendor Lock-in kann insofern auch hier nicht passieren.

Jetzt heißt das vorerst also offizieller „global deduplication for Enterprise“, was jedoch besser umschrieben wäre mit „Enterprise deduplication with one vendor“. Steigerungsformen von Global wie Superglobal und Hyperglobal sind ja auch noch verfügbar.

Appliance, Filesystem oder Software Plug-in

Etwas ernsthafter argumentiert, steht mit der „Global Deduplication“ allerdings eine Frage im Raum rum, wo das denn technisch stattfinden soll. Das Startup Nexenta jedenfalls nimmt dazu das von Sun entwickelte ZFS-Filesystem, das Zettabyte Daten verwalten kann.

Die Einbindung spezifischer Deduplikations-Ziele ins Dateisystem dürfte kein allzu großes Problem sein und mit einer schönen Metadata-Datenbank gute Ergebnisse liefern können.

Unabhängig von dieser Chance, die wahrscheinlich auch IBM mit dem Global Parallel File System (GPFS) und dem Hyperfactor der vor einiger Zeit übernommenen Diligent favorisieren wird, ist festzustellen, dass Deduplizierung zu einem Software-Feature mutiert. In „Global Dedup“ steckt also noch viel Potenzial.