jules - Fotolia

NVMe over Fabric kann Storage verändern

NVMe mit seinen Varianten wie NVMe over Fabric hat das Potenzial, Rechenzentren grundlegend zu verändern und damit Flash besser zur Geltung zu bringen.

Es ist zu erwarten, dass NVMe die älteren Protokolle SAS und SATA verdrängen wird. NVMe over Fabric wird den Datentransport in Hochleistungsnetzwerken voranbringen.

In den 90er Jahren sorgt Fibre Channel dafür, dass Storage-Netzwerke populär wurden. Wer weniger Geld ausgeben wollte, für den war iSCSI über Ethernet einige Jahre später eine gangbare Alternative.

Beide Transportmethoden verließen sich auf SCSI als Storage-Protokoll für die Kommunikation zwischen Datenquelle und Storage-Ziel. Da nun Flash immer populärer wird, zeigen sich die Schwächen von SCSI deutlicher.    

Dies hat zur Konzeption von NVMe geführt, einem nichtflüchtigen Speicherexpress, der an SCSI vorbeiziehen und die Geschwindigkeitsprobleme überwinden soll.

Betrachten wir nun die Unterschiede zwischen NVMe und den Vorgängern sowie das neue Konzept NVMe over Fabric.

Die Evolution

Die Storage-Netzwerktechnologie beruht auf der Weiterentwicklung der Hardware und dem Bedürfnis nach konsolidiertem und zentralisiertem Speicher. Der Ursprung von Fibre Channel kann bis zu ESCON auf dem Mainframe zurückverfolgt werden, einem Fibre-basierten Verbindungsprotokoll. SCSI hat andere Wurzeln und sollte die Verbindung zwischen Festplatten und Servern sicherstellen.

Ursprünglich war SCSI ein paralleles Kommunikationsprotokoll. Mit der Einführung von SAS erfolgte der Übergang zu einer seriellen Schnittstelle. Auf dem PC entwickelte sich das Advanced Host Controller Interface (AHCI), das Vorläufer von SATA war. Heute sind SATA und SAS sowohl bei Festplatten als auch SSDs im Einsatz.

Fibre Channel oder Ethernet sorgen für die physische Verbindung von Netzwerk und Storage. SCSI ist immer noch ein hochstufiges Kommunikationsprotokoll für Storage. Ausgelegt ist SCSI aber für Festplatten, die erheblich langsamer sind als Systemspeicher und Prozessoren. Obwohl SSDs als schnell gelten, gibt es daher erhebliche Leistungsprobleme bei internen Laufwerken.

Die meisten SATA-Laufwerke verwenden immer noch die SATA 3.0 Spezifikation, die auf sechs Gbps und 600 MBps Durchsatz beschränkt ist. SAS-Laufwerke sind einen Schritt weiter und können mit SAS 3.0 zwölf GBps Durchsatz erreichen, sind aber auch auf eine Konnektivität von sechs Gbps beschränkt.

Das Hauptproblem sowohl für SAS als auch für SATA besteht aber darin, dass sie nur eingeschränkt I/O-Ströme an ein Gerät übertragen können. Ein Blick auf die Geometrie einer Festplatte zeigt, dass es schwer bis unmöglich ist, gleichzeitige I/O-Ströme zu verarbeiten.

Mit etwas gutem Willen können die Schreib-/Leseköpfe verschiedene Anfragen zusammen abarbeiten. Zusätzlich kann man Buffering verwenden, aber das skaliert nicht.

Weder SAS noch SATA ist darauf ausgelegt, mit verschiedenen I/O Queues umzugehen. AHCI hatte eine Queue Depth von 32 Befehlen, SCSI schafft abhängig von der Implementierung 128 bis 256.

Einzelne Queues wirken sich negativ auf die Latenz aus. Das wird schlimmer, je größer die Datenströme sind. Bei Festplatten ist das kein großes Problem, aber SSDs werden dadurch effektiv ausgebremst.

Auftritt NVMe

NVMe wurde als Ersatz für SCSI konzipiert, sowohl für Geräte als auch das Netzwerk. NVMe nutzt den PCIe Bus, um höhere Bandbreite und geringere Latenz für intern verbundene Geräte zu erreichen. Ein PCIe Gerät mit vier Lanes kann vier GBps Bandbreite erreichen.

Der größte Fortschritt bei NVMe wurde durch die Optimierung des Storage-Protokolls erreicht. Der interne I/O-Zugriff ist verbessert und NVMe unterstützt bis zu 65.535 Queues, jede mit einer Queue Depth von 65.535 Einträgen. Diese massive Parallelität für die I/O-Abfragen ist ein gewaltiger Vorteil. In modernen IT-Umgebungen wird parallel gearbeitet und dies verbessert den externen I/O-Durchsatz.

Die NVM Express Working Group, ein Konsortium von 90 Unternehmen, hat die Spezifikation erstmals 2012 festgelegt. Samsung hat ein Jahr später als erster ein NVMe-Laufwerk auf den Markt gebracht. Im Juli 2017 veröffentlichte die Working Group die Version 1.3 der NVMe-Spezifikation. Neu sind Sicherheitsfunktionen, Ressourcen-Management und Hilfen zur Verbesserung der SSD-Lebensdauer.

NVMe over Fabric

NVMe wird sich als Storage-Protokoll für die Geräteanbindung durchsetzen. In ähnlicher Weise könnte NVMe auch SCSI bei den iSCSI und Fibre-Channel-Protokollen verdrängen.

Genau das ist das Ziel des NVMe over Fabric Standards, der 2014 konzipiert und 2016 veröffentlicht wurde. Es gibt zwei Varianten für den Datentransport, NVMe over Fabrics mit Remote Direct Memory Access (RDMA) und NVMe over Fabrics mit Fibre Channel (FC-NVMe).       

RDMA erlaubt den Datentransfer von und zum Anwendungsspeicher zweier Computer ohne den Prozessor zu beanspruchen. Dies erlaubt niedrige Latenz und hohe Transfergeschwindigkeit. RDMA-Implementierungen sind Infiniband, iWARP und RDMA over Converged Ethernet, auch bekannt als RoCE (gesprochen „Rocky"). Einige Anbieter wie etwa Mellanox haben Adapterkarten im Portfolio, mit denen Geschwindigkeiten von 100 Gbps sowohl für Infiniband als auch Ethernet, einschließlich NVMe over Fabrics Offload, erreichbar sind.

NVMe over Fibre Channel nutzt moderne Fibre Channel Technologie, die mit einem Upgrade SCSI und NVMe Storage-Transport unterstützen kann. Das bedeutet, dass Kunden, die bereits Fibre Channel verwenden, mit einem einfachen Firmware-Upgrade ihrer Switches die neue Technologie verwenden können. Die Host Bus Adapter (HBAs) müssen NVMe unterstützen, typischerweise 16 Gbps oder 32 Gbps, und die Storage-Geräte müssen für NVMe over Fabrics ausgelegt sein.

Die Implementierung von NVMe

Für NVMe im Rechenzentrum sind NVMe-Geräte in den Servern die offensichtliche Option. Die Hersteller bringen bereits NVMe-fähige Maschinen auf den Markt mit physischen Konnektoren und BIOS Unterstützung.

Auch die meisten aktuellen Betriebssysteme unterstützen bereits NVMe, ebenso wie Plattformen wie VMware vSphere und vSAN (letzteres bereits seit 18 Monaten).

Eine andere Option ist es, NVMe für die Storage-Anbindung im Backend für die Storage-Geräte zu verwenden. Die Anbieter von Storage-Arrays haben den Übergang zu SAS als Backend-Schnittstelle als Ersatz von Fibre Channel Arbitrated Loop und parallelem SCSI bereits vollzogen.

Die Implementierung von NVMe erlaubt die Anbindung von Flash-Geräten schnell und mit niedriger Latenz. Das Ausmaß der Verbesserung hängt von der Systemprogrammierung ab. 

Bis jetzt hat HPE für 3PAR und Pure Storage für die FlashArray//X Plattform NVMe Unterstützung eingeführt. NetApp nutzt NVMe als Lese-Cache für FlashCache.

Pure Storage nimmt für FlashArray//X in Anspruch, die halbe Latenz und die doppelte Bandbreite gegenüber den Vorgängern zu erreichen. Diese Spezifikation bezieht Host-basierten NVMe over Fabrics Support noch nicht ein, so dass es noch Luft nach oben gibt.

Optionen für NVMe

Die volle Umsetzung der NVMe-Technologie bedeutet ein vollständiges SAN und genau dies kann mit NVMe over Fabrics erreicht werden. Potentielle Kunden haben die beiden oben genannten Optionen für die Implementierung. Ein Übergang zu FC-NVMe ist möglich, wenn die richtige Infrastruktur im Rechenzentrum vorhanden ist.

Vor einigen Monaten hat Cisco Unterstützung für FC-NVMe für den MDS 9710 Fibre Channel Director angekündigt. Brocade unterstützt NVMe in den Gen6 32 Gbps Switches, einschließlich der G610.

Die Anbieter von Fibre Channel behaupten, dass die Kunden für NVMe keine neuen Geräte anschaffen müssen, weil SCSI und NVMe mit derselben Infrastruktur arbeiten können. Das ist richtig, wenn das Rechenzentrum bereits 32 Gbps Verbindungen verwendet. Die meisten Server haben aber noch keine 32 Gbps HBA-Karten.

Sobald NVMe-fähige Storage-Geräte verfügbar sind, besteht die Möglichkeit, nicht gleich komplett auf NVMe umzustellen. Denn SCSI und NVMe können mit derselben Infrastruktur arbeiten.

Die Einsparungen bei der Hardware werden von der Umgebung abhängen. Wenn die IT-Abteilung bereits mit Fibre Channel vertraut ist, wird die Umstellung leichter fallen. Bei Converged Ethernet war dies schwerer und es konnte sich nie richtig durchsetzen, weil die Hardware teuer war.

Anstatt Fibre Channel können Sie auch NVMe over RDMA verwenden. Damit kann ein Storage-Netzwerk gestaltet werden, das eine etwas höhere Geschwindigkeit auf Kosten der Skalierbarkeit bietet. Verschiedene Anbieter setzen auf diese Methode.

Das Startup E8 Storage bietet ein Storage Array mit 100 Gigabit Ethernet (GbE) converged Switches und RDMA-Netzwerkschnittstellenkarten für ein Hochleistungs-SAN. Möglich sind 10 Millionen Lese- und 2 Millionen Schreib-IOPS mit 100 μs (Mikrosekunden) Lese- und 40 μs Schreib-Latenz.        

Excelero hat NVMesh entwickelt, ein Produkt auf Softwarebasis. Damit sollen NVMe-fähige Server zu einem Mesh zusammengefasst werden, um eine verteilte Compute- und Storage-Fabric zu schaffen, mit der sich etwa Hyperkonvergenz erreichen lässt. Excelero hat sich mit Micron zusammengetan, um eine Plattform namens SolidScale zu produzieren, die auf Micron 3.2 TB SSDs und Mellanox Ethernet RoCE Switches fußt.

Pure Storage hat für die gemeinsam mit Cisco konzipierte FlashStack-Referenzarchitektur NVMe Unterstützung angekündigt. Dies umfasst FlashArray//X, Cisco MDS 9700 Directors und Cisco UCS (Unified Computing System) Server sowie C-Series Switches mit 32 Gbps HBAs. Pure kann außerdem NVMe over Fabrics für das Back-end unterstützen.

Apeiron Data Systems entwickelt eine NVMe-Array-Architektur, basiert auf 40 GbE und einem externen hyperkonvergenten Design. Dies kann Storage und Compute unabhängig voneinander skalieren.

Ausblick

NVMe wird SCSI und SAS als die Standardverbindung für SSD-Laufwerke ablösen. Für Hochleistungsumgebungen kann man NVMe over Fabrics rechtfertigen.

Es wird interessant sein, welches Konzept sich durchsetzt, entweder NVMe mit großem Funktionsumfang (Snapshots, Replication, Kompression und Deduplikation) in bestehenden Storage Arrays oder vollständig neue Plattformarchitekturen wie die von Apeiron oder Excelero mit geringerem Funktionsumfang.

In der Vergangenheit hinderte ein geringer Funktionsumfang NVMe am Durchbruch. Allmählich wird NVMe aber sicherlich ältere Architekturen verdrängen, mit denen sich das Potenzial von Flash nicht ausschöpfen lässt.

Folgen Sie SearchStorage.de auch auf Twitter, Google+, Xing und Facebook!

Nächste Schritte

NVMe und 3D XPoint

Die NVMe-Technologie könnte das Konzept der Direct-Attached-Storage wiedererwecken

Neue Software-Architekturen mit NVMe und Direct-Flash können Grenzen überwinden

Artikel wurde zuletzt im September 2017 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Erfahren Sie mehr über Solid-State-Speicher

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close