polygraphus - Fotolia

Pioniere verwenden die Performance von Flash Storage für Analyse und Big Data

Einige Vorreiter unter den Herstellern wie IBM, Mangstor und EMC beginnen, die Leistung von Flash für Analyse und Big Data Workloads zu nutzen.

Flash Storage sollte zunächst die Anwendungsleistung im Unternehmen verbessern. Da die ersten Flash-Systeme aber recht teuer waren, wurde der Einsatz auf Anwendungen beschränkt, die wirklich von niedriger Latenz und verbessertem Datendurchsatz profitieren konnten.

Mit zunehmender Marktreife werden nun zunehmend Produkte angeboten, die auf spezifische Einsatzzwecke zugeschnitten sind. Einer davon ist Flash für Analyse und Big Data Workloads.

Diese neue Produktwelle gliedert sich in zwei Bereiche. Im High-End sind Systeme wie EMC DSSD und die Mangstor NX Series darauf ausgelegt, hohe Leistung und niedrige Latenzen ohne Kompromisse zu liefern.

Auf der anderen Seite des Spektrums finden sich kostengünstige Systeme, die die jüngsten Kapazitätssteigerungen von NAND-Speicher nutzen. Hersteller wie Sandisk und Pure Storage verwenden TLC und 3D NAND, um Leistung und Kapazität zu gewährleisten.

Diese neuen Plattforme sind nicht für traditionelle Workloads wie Server-Virtualisierung ausgelegt. Ihre niedrige Latenz und hoher Durchsatz ist wie geschaffen für Analyse und Big Data Workloads.

Wenn wir die Eigenschaften von Big Data Workloads näher betrachten, so gibt es eine Reihe von Funktionen, für die Flash besonders geeignet ist. Analyse besteht aus zahlreichen wiederholten Lesezugriffen, die eine hohe IOPs Belastung bedeuten. Caching bringt hier nur geringe Vorteile, eher wird man Storage bevorzugen, die so schnell wie möglich läuft.

Auch Skalierbarkeit ist ein wichtiges Thema, weil es bei Big Data um große Datenmengen geht. Flash-Systeme sollten hierfür Kapazitäten bis in den PB-Bereich vorweisen können.

Parallele Zugriffe sind erforderlich besonders für Hadoop, das die Anfragen der Workloads aufteilt und viele gleichzeitig verarbeitet. Mit der NVMe-Technologie sind parallele Zugriffe einfacher möglich als mit traditioneller Storage.

Die Analyseprozesse arbeiten meistens nach dem Zufallsprinzip und greifen sich willkürlich Daten aus dem Pool. Dafür passt Flash, weil es konsistent den Random-Zugriff per I/O Request gewährleistet.

Ein weiterer Punkt ist es, dass Analyse lese-intensiv ist. Es kommt also nicht auf eine hohe Haltbarkeit der Flash-Laufwerke an, die nur für zahlreiche Schreibvorgänge wichtig ist.

Flash für High Performance Computing

High Performance Computing  (HPC) Systeme sind fokussiert auf Anwendungen mit hohen Datenvolumen und schnellen Zugriff mit Scale-Out Computing-Knoten und parallelen I/O Workloads.

In ein HPC System werden Daten eingespeist über parallel Datei-Systeme oder Hochleistungs-NAS wie etwa EMC Isilon.

Für HPC sind einige Produkte ungeeignet. High-Density-Systeme bringen für HPC nur geringe Vorteile, weil sie nicht in der Lage sind, viele Knoten mit einer einzigen Storage-Plattform zu verbinden. 

Dagegen sind Systeme, die Konnektivität für Cluster gewährleisten können, ohne High-Density zu bieten, besser für das Scale-Out unter HPC geeignet. Hier kommen traditionelle Storage-Systeme ins Spiel.

Geeignete Produkte

Das Mangstor Flash Fabric Array kann I/O mit Latenzen bis zu 110 Mikrosekunden (Lesen) und 30 Mikrosekunden (Schreiben) mit einem Datendurchsatz von bis zu fünf Millionen IOPS gewährleisten. Der Datendurchsatz beträgt bis zu 20 Gigabyte pro Sekunde (Gbps). Das Top-Modell NX6340 hat eine Kapazität von 27,54 TB.

Die Modelle der NX Serie werden über Ethernet oder Infiniband mit 40, 56 oder 100 Gbps verbunden. Sie nutzen NVMe oder RDMA als Storage-Protokoll. Sie enthalten keine Raid Protection, denn diese soll der Host bereitstellen.

EMC DSSD bietet ähnliche Leistungsmerkmale wie die Mangstor-Modelle. Data Protection wird über das proprietäre Cubic Raid gewährleistet.

EMC DSSD D5 liefert fünf Millionen IOPS mit etwa 100 Mikrosekunden Latenz und einem Datendurchsatz von 100 Gbps. Auf fünf Höheneinheiten können maximal 144 TB mit 36 vier TB Flash Modulen untergebracht werden. Ein Maximum von 96 PCIe Verbindungen mit 48 dualen Hosts mit PCIe Gen 3x4.     

E8 Storage hat vor kurzem sein neues Rack Scale Flash Modell auf der Basis von NVMe Technologie herausgebracht. Das D8-D24 Array nutzt 24 NVMe SSDs im 2,5 Zoll Format. Der Datendurchsatz beträgt 20 Gbps (Schreiben) und 40 Gbps (Lesen) mit zwei Millionen IOPS (Schreiben) und zehn Millionen IOPS (Lesen). Die Latenz beträgt 100 Mikrosekunden (Lesen) und 40 Mikrosekunden (Schreiben). Für die Konnektivität sorgen 40, 50 oder 100 Ethernet.

Die Infiniflash Plattform von Sandisk ist hochskalierbar mit 512 TB in drei Höheneinheiten. Die Leistung beträgt zwei Millionen IOPS und 12 Gbps Datendurchsatz. Anbieter wie Tegile nutzen die Infinflash Plattform als Basis für ihr eigenes Angebot. Tegile bietet Zusatzfunktionen und Konnektivität.

Pure Storage hat FlashBlade angekündigt, eine Scale-Out Plattform. In vier Höheneinheiten sind 1,6 PB Kapazität enthalten (768 TB roh). FlashBlade skaliert bis 16 PB in einem einzelnen Rack und kann hunderte Blade-Server in einem logischen Cluster enthalten. Das Produkt befindet sich derzeit in der Early Adopter Phase.

IBM Deep Flash enthält 64 Flash Cards auf drei Höheneinheiten. Die Plattform skaliert auf bis zu 170 TB pro Einheit oder 6 PB für ein volles Rack.

Alle Hersteller nutzen direkte Verbindungen zum Server mit SAS, PCIe, Infiniband oder Ethernet. Zu den benutzten Server-zu-Storage-Protokollen gehören RoCE (RDMA over Converged Ethernet), NVMe over PCIe und iWARP.  Diese schnellen Verbindungen erlauben es, auf traditionelle Storage Anbindungen mit Fibre Channel und NAS zu verzichten.

Ausblick

Die noch vorhandenen Beschränkungen der physischen Konnektivität erinnern an die Frühzeit von iSCSI. Damals wurden Hindernisse wie Entfernung und Anzahl der Hosts durch den Einsatz von Fibre Channel überwunden.

Mit der Entwicklung von NVMeF und möglicherweise NVMe über Fibre Channel können diese High-End-Produkte noch weiter skalieren und geeigneter für den allgemeinen Storage Markt werden.

Folgen Sie SearchStorage.de auch auf Twitter, Google+, Xing und Facebook!

Artikel wurde zuletzt im Oktober 2016 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Erfahren Sie mehr über Solid-State-Speicher

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close