picturemaxx entscheidet sich für ZFS-basierte Storage-Lösung von Nexenta

picturemaxx bietet Agenturen Zugriff auf mehr als eine Milliarde Fotos und Videos. Die Storage-Lösung dazu kommt von Nexenta und basiert auf ZFS.

Eine Milliarde gespeicherter Mediendateien wie Fotos und Videos, täglich durchschnittlich 600.000 Dateizugriffe durch Kunden und eine gesamte Speichergröße von rund einem Petabyte – das sind die Storage-Anforderungen von picturemaxx, einem der führenden Anbieter von Media-Asset-Management-Lösungen. Was vor gut 30 Jahren mit einem DOS-basierten Ablagesystem für Dias begann, bedient heute weltweit 500 Agenturkunden direkt und weitere 2.000 indirekt. picturemaxx stellt dabei die Software-Lösung bereit, mit der beispielsweise Bildagenturen Verlagen ihre Medien anbieten, die Fotos und Videos selbst aber liegen größtenteils im Storage-System von picturemaxx.

Jeder Kunde von picturemaxx hat dabei ganz unterschiedliche Anforderungen an die Mediendateien, von Bild- und Thumbnail-Größen über integrierte Wasserzeichen und Lizenz-Informationen bis hin zu ausführlichen Sets an Metadaten. So erhält ein und dasselbe Foto viele verschiedene Verknüpfungen und kann jedem Kunden einer Bild-Agentur anders gerendert angezeigt werden. Das führt laut Christian Marnitz, CIO bei picturemaxx, zu enormen Lasten und kann nur mit einer verlässlichen und leistungsstarken Storage-Lösung bewältigt werden. Christian Marnitz sieht auch im Preisverfall von Media Assets einen Grund für die steigende Belastung der Storage-Infrastruktur, da die fallenden Preise durch ein immer größeres Angebot kompensiert werden, während die Dateigröße einzelner Assets dabei beständig zunimmt.

Zusätzliche Lastspitzen erfährt picturemaxx durch mediale Großereignisse wie Olympia, die Oscar-Verleihung oder Fashionweeks, wo innerhalb weniger Stunden bis zu 150.000 Fotos hochgeladen werden, die picturemaxx anschließend speichert, verarbeitet, skaliert und rendert, um sie Medienhäusern für die aktuelle Berichterstattung zur Verfügung zu stellen.

Die Storage-Basis: Hybride Speicher-Infrastruktur aus HDDs und SSDs

Bis vor etwa zwei Jahren nutzte picturemaxx ein Linux-basiertes Storage-System mit Master/Slave-Replikation, was durch die fehlende Hochverfügbarkeit Wartungsarbeiten und Skalierbarkeit erschwerte. Angeschlossen und verkabelt waren diese über Infiniband, über NFS wurde der Zugriff der Client-Server auf das Storage-System ermöglicht. Als picturemaxx schließlich an den Grenzen von Systemleistung und Storage-Kapazität angelangt war, suchte man vor etwa zwei Jahren noch einmal den kompletten Neuanfang, um eine leistungsfähige, skalierbare und hochverfügbare Storage-Infrastruktur aufzubauen. Vor allem die Hochverfügbarkeit stand dabei für Christian Marnitz „ganz oben auf der Liste“, um picturemaxx- Kunden an die 100 Prozent Verfügbarkeit garantieren zu können. Da eine Downtime der Bilddatenbank im schnelllebigen Journalismus inakzeptabel sei, hänge daran letztlich auch der Geschäftserfolg von picturemaxx, so Christian Marnitz weiter.

Über den IT-Partner Exus Technologies führte das entworfene Storage-Design schließlich zu Nexentas Storage-Lösung NexentaStor, wie Oliver Flathmann, CPO bei Exus Technologies, erklärt: „Hochverfügbarkeit zu erlangen war dabei nur ein Faktor. Hohe Leistungsfähigkeit und moderne Speicherfunktionen, wie unlimitierte Snapshots, zählten schnell zu den weiteren benötigten Funktionen.“ Aufgrund der zusätzlich benötigten Skalierbarkeit und der Einbeziehung kompletter SSD-Cluster in die Planung, so Oliver Flathmann, fiel die Wahl schließlich auf die Storage-Lösung NexentaStor von Nexenta.

Der Primärspeicher für die Up- und Downloads von Medien besteht aus drei Active-/active-HDD-Clustern, die jeweils 180 Near-line SAS-Laufwerke mit je 2 Terabyte Speicherkapazität beherbergen. Damit kommt jeder HDD-Cluster auf eine Storage-Kapazität von 360 Terabyte, die gesamte HDD-Installation zusammen auf 1080 Terabyte. Die Durchsatzleistung der einzelnen 6-Gb/s-Head-Nodes wurde zudem durch je 8 Gigabyte ZeusRAM SAS-Buffer von STEC erhöht.

Als Host für die BI-Storage-Anwendungen von picturemaxx, beispielsweise für ERP- und CRM-Systeme und  vor allem für den Such-Index, wurden der Storage-Infrastruktur zusätzlich drei reine Active-/active-SSD-Cluster hinzugefügt. Je Cluster wurden dabei 20 SSDs mit einer Kapazität von 400 Gigabyte verbaut, insgesamt kommen alle drei SSD-Cluster damit auf eine Gesamtkapazität von 12 Terabyte schnellem Flashspeicher. Um das I/O-Wait zu minimieren, also die Zeit, die der Prozessor auf Daten des langsamen Hauptspeichers warten muss, wurden die Head-Nodes der SSD-Cluster mit SSDs und DRAM bestückt. So will Nexenta die Latenz weiter verringern. Durch dieses hybride Storage-Design werden die am häufigsten abgerufenen Daten direkt im Arbeitsspeicher vorgehalten, was bei Download-Anfragen zu schnelleren Antwortzeiten führt. Je weniger Anfragen eine Datei erhält, umso weiter sinkt sie in der Storage-Hierarchie, zunächst in den SSD-Speicher, später in den HDD-Storage. Auf diese Weise erreicht das Storage-System von Nexenta laut Christian Marnitz 1,5 Millionen IOPS bei 100 Prozent Random Reads und einer Blockgröße von 4K.

ZFS als Herzstück von Nexentas Software-defined-Storage-Lösung

Das Herzstück der Storage-Lösung ist aber Nexentas spezifische Storage-Steuerung NexentaStor, die alle Vorteile des nicht ganz unumstrittenen Dateisystems ZFS ausspielt. Ursprünglich von Sun Microsystems entwickelt und der Open-Source-Community übergeben, gibt es seit der Übernahme von Sun Microsystems durch Oracle immer wieder lizenzrechtliche Bedenken bei der Nutzung von ZFS. Johan van den Boogaart, Region Manager DACH bei Nexenta Systems, mag diesen Einwand aber nicht gelten lassen: „Was Open Source ist kann nicht wieder zurückgenommen werden. Daher gibt es auch keine Lizenz-Probleme bei der Nutzung von ZFS.“ Seit einigen Jahren erlebt ZFS nun mit dem Illumos-Projekt, das auch Nexenta Systems unterstützt, neuen Schwung.

Einer der großen Vorteile von ZFS, so van den Boogaart, sei der Schutz vor Dateiübertragungsfehlern mittels eines Prüfsummenbaums über den gesamten Datenbestand hinweg, mit dem das Dateisystem in der Lage ist, Fehler automatisch zu korrigieren. Auf diese Weise gibt es keine Notwendigkeit mehr für System File Checks, damit entfällt teure Wartungszeit und die Downtime wird minimiert. Zusätzlich ersetzt Nexentas ZFS-Lösung Hardware-basierte RAID-Controller durch Software-RAID, was ebenfalls dem wartungsfreiem Betrieb zugute kommt. ZFS ist ein Copy-on-Write-Dateisystem, bei dem die Änderung nicht die bisherigen Daten überschreibt. Diese bleiben vielmehr vorhanden, bis der Speicherplatz für neue Dateien benötigt wird. Das schont zum einen Ressourcen und ermöglicht zum anderen das problemlose Anfertigen von Snapshots ohne Zeitverlust und Performance-Einbußen. Da es sich bei NexentaStor um eine Software-definierte-Storage-Lösung handelt, ist zudem eine hohe Skalierungsmöglichkeit gegeben. Damit ist die Schaffung zusätzlicher Kapazitäten oder der Einsatz neuer, schnellerer Technologien zur Datenübertragung möglich, ohne vorhandene Hardware-Komponenten austauschen zu müssen.

Für Christian Marnitz zählt neben Hochverfügbarkeit, Skalierbarkeit und Performance der Nexenta-Lösung vor allem der Vorteil, sich nicht an einen der großen Storage-Hersteller binden zu müssen: „Das Geschäftsmodell dieser Hersteller passt nicht zu uns, da wir genau planen müssen, was wir für Speicher budgetieren können. Nexenta versteht, wie besonders unser System ist, und bietet uns flexiblere Lösungen als andere Hersteller mit ihren starren Produkt-Roadmaps.“ Als zusätzlichen Vorteil dürfte sich das neue Storage-System nach Aussagen von Exus Technologies durch den geringeren Energiebedarf in wenigen Jahren amortisiert haben – trotz der höheren Performance.

Artikel wurde zuletzt im März 2014 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Erfahren Sie mehr über Storage-Anbieter

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close