Die Wahrheit über Performance-Benchmarks für SSDs

Für Nutzer kann es schwierig sein, zu verstehen, was IOPS-Werte bezeichnen und wie sie Probleme bei der SSD Performance lösen können.

Dieser Artikel behandelt

SSD

ÄHNLICHE THEMEN

Anbieter von Solid-State Storage werben mit Performance-Werten im Bereich von „1 Million IOPS“. Lesen Sie, was Sie über Performance-Benchmarks für SSDs wissen müssen, um solche Behauptungen einordnen zu können.

Derzeit scheint kaum eine Woche zu vergehen, in der nicht irgendein Storage-Anbieter behauptet, sein Solid-State Storage komme auf eine Performance von 1 Million IOPS. Doch über die für solche Ergebnisse verwendeten Benchmarks ist zu wenig bekannt. Deshalb kann es für Nutzer schwierig sein, zu verstehen, was diese IOPS-Werte genau bezeichnen und was sie für die Lösung von Problemen bei ihrer aktuellen Storage-Performance bedeuten können.

Anbieter von Daten-Storage verwenden viel Energie darauf, die starke Performance ihrer Produkte zu demonstrieren und Storage-Manager davon zu überzeugen, dass ihre Produkte hohe Volumen an Rechenzentren-Aktivität bewältigen können. Anfangs wurden Performance-Benchmarks veröffentlicht, um zu zeigen, dass SSD-Geräte im Format 1U oder 2U sogar Enterprise-Storagesysteme mit tausenden von Laufwerken übertreffen können. Nebenbei wollten die Anbieter damit klarmachen, dass sie mit derart kleinen, effizienten Bauformen nicht nur auf 1 Million IOPS kommen, sondern dies auch noch zu einem Bruchteil der Kosten für ein traditionelles Highend-Storagesystem.

Allerdings sind solche Vergleiche nicht unbedingt fair. So bieten Highend-Systeme auch Möglichkeiten für Daten-Sicherung und -Management, mit denen die meisten Angebote für SSD-Storage nicht aufwarten können. Viele Anbieter, auch solche, die Highend-Storage der Enterprise-Klasse im Angebot haben, sind derzeit dabei, diese Lücke zu schließen. Sie wollen ihren Kunden das Beste aus beiden Welten bieten: gute Performance und Preise ebenso wie Daten-Sicherung und -Management. Vor kurzem wurden 1 Million IOPS auch hier erreicht – bei Enterprise-Lösungen mit Funktionen wie Thin Provisioning, Snapshots, Replikation, Infrastruktur-Management und Überwachung sowie API-Unterstützung für Schnittstellen zur Server-Virtualisierung wie die vStorage APIs for Array Integration (VAAI) von VMware.

Anbieter von Controller-basiertem Storage haben ihre Controller so umgestellt, dass sie mit der höheren Performance der heutigen SSDs umgehen können. Durch dynamisches Tiering ist es außerdem inzwischen möglich, sehr aktive Daten automatisch von der SSD-Storagestufe übernehmen zu lassen. Bei richtiger Konfiguration und Feineinstellung kann dies die Performance einer Workload erheblich steigern. Weniger häufig aufgerufene Daten werden, um die Kosten niedrig zu halten, dabei weiter auf rotierenden Medien untergebracht.

Benchmarks vs. Last-Generatoren

Für Vergleichszwecke hat die Unterscheidung zwischen Benchmarks und Last-Generatoren große Bedeutung. Viele veröffentlichte Ergebnisse werden fälschlich als Performance-Daten bezeichnet, was bei Vergleichen zu Verwirrung führen kann. Oft werden Last-Generatoren schlicht mit Benchmarks verwechselt, weil sie dafür verwendet werden, eine Benchmark zu erstellen.

Bei einer Benchmark handelt es sich um eine feste Workload mit Regeln für die Berichterstattung und einer festgelegten Mess-Methode, so dass die wichtigsten Merkmale fixiert sind. Standard-Benchmarks für Branchen weisen weitere Beschränkungen auf und sehen häufig einen unabhängigen Prüfer vor, der das ordnungsgemäße Zustandekommen der Ergebnisse kontrolliert. Dadurch wird sichergestellt, dass Nutzer bei ähnlichen Produkten wirklich Äpfel mit Äpfeln vergleichen können. Derzeit gibt es zwei Gremien, die branchenweit gültige Benchmarks für Storage anbieten: Storage Performance Council (SPC) und Standard Performance Evaluation Corporation (SPEC).

Ein Last-Generator ist ein Werkzeug, das eine bestimmte Last simuliert, um Performance-Daten zu erfassen oder Probleme bei einem System oder Produkt erkennen zu können. Diese Generatoren verfügen über Stellknöpfe, mit denen sich die gewünschte Workload-Charakteristik verändern lässt. Sie werden nicht nur von Performance-Experten eingesetzt, sondern auch von Test-Organisationen, die damit die Spezifikationen von Produkten überprüfen. Die Ergebnisse sind hier oft nicht mit denen anderer Anbietern zu vergleichen: Es gibt keine Garantie dafür, dass die Bedingungen beim Messen der unterschiedlichen Systeme gleich waren.

Diese Unterscheidungen sind wichtig. Denn all die gemeldeten 1 Million IOPS der verschiedenen Anbieter sind wahrscheinlich tatsächlich unter ganz unterschiedlichen Bedingungen erreicht worden. Bei manchen haben künstlich hohe Caching-Effekte eine Rolle gespielt, die sich im normalen Betrieb kaum reproduzieren lassen; zudem gibt es keine genauen Informationen darüber, so dass im eigenen Rechenzentrum nicht einmal der Test nachvollzogen werden kann. Die Tabelle „Beliebte Tools zur I/O-Generierung“ zeigt zwei der Last-Generatoren, die derzeit in Laboren für Performance-Tests am häufigsten verwendet werden. Es gibt noch viele weitere davon, doch diese beiden sind nicht nur sehr verbreitet, sondern auch kostenlos verfügbar bei http://sourceforge.net.

Beliebte Tools zur I/O-Generierung

Tool Beschreibung
Vdbench Umfassender Workload-Generator, der auch erfasste Workload-Daten abspielen kann
Iometer Generiert einheitliche I/O-Lasten für Informationen über die Verarbeitungsgeschwindigkeit

Die meisten gemeldeten Ergebnisse mit 1 Million IOPS basieren auf Tests mit Blocks von 512 Byte Größe. Bei den meisten Anwendungen zur Verarbeitung von Online-Transaktionen (OLTP) von Unternehmen beträgt die Transfer-Größe aber 4 KB oder 8 KB. Wie Tests bei mehreren Anbietern gezeigt haben, ist die Performance bei 4-KB-Transfers in gut laufendem SSD-Storage rund 20 Prozent geringer als bei 512-Byte-Blocks – statt auf eine Million IOPS käme man also auf 800.000. Bei weniger toleranten SSD-Produkten kann die Performance sogar um 40 Prozent zurückgehen. Hinzu kommt: In den meisten Fällen handelt es sich bei Meldungen über 1 Million IOPS eher um bloße Geschwindigkeitsinformationen als um echte Performance-Werte für Anwendungen oder Workloads.

Solid-State Storage richtig messen

Solid-State Storage hat einige Besonderheiten und kommt im Gegensatz zu Festplatten (hard disk drives – HDDs) ohne bewegliche Teile aus. Damit fallen HDD-Kennzahlen wie Rotationslatenz oder Suchzeiten schon einmal weg. Aus demselben Grund werden die Antwortzeiten für SSDs meist nicht mehr in Millisekunden gemessen, sondern in Mikrosekunden. Wer derartige Messergebnisse studiert, sollte wissen, wie sie zustande gekommen sind. Nur so lässt sich feststellen, ob sie verifizierbare und durchhaltbare Performance-Werte angeben.

Nicht alle SSDs liefern eine gleich hohe Performance. Die Zugriffszeiten bei SSDs mit single-level-Zellen (SLC) sind schneller als bei multi-level cells (MLC). Als am schnellsten gilt derzeit DRAM-basiertes Solid-State Storage: Die Antwortzeiten liegen hier im Durchschnitt 10 Mikrosekunden, während sie bei anderen SSDs 100 Mikrosekunden erreichen. Enterprise Flash Devices (EFDs) sind speziell auf die Anforderungen von Tier-1-Anwendungen ausgelegt und erreichen ähnliche Performance und Antwortzeiten wie weniger teure SSDs. Sie bieten jedoch Enterprise-Funktionen für Daten-Sicherung und Management, die sich je nach Anbieter kaum auf die Performance auswirken. Dabei hat jeder Hersteller seinen eigenen Algorithmus für den Ausgleich von Abnutzung (wear-leveling) entwickelt, von denen einige bei schreibintensiven Workloads mit der Zeit zu starken Performance-Rückgängen führen können. Ebenfalls zu beachten ist das Storage-Protokoll für den Zugriff auf die SSDs. Die beste Performance hat immer noch Fibre Channel, aber SAS liegt nicht weit dahinter. Auch iSCSI und SATA zeigen mit SSDs eine gute Performance, doch die meisten Produkte mit diesen Technologien kommen nicht auf 1 Million IOPS, wenn nicht zusätzliche Caching-Funktionen die Performance steigern.

Auch die Platzierung des Solid-State-Storage im I/O-Pfad kann eine Rolle dafür spielen, 1 Million IOPS zu erreichen. Antwortzeiten im Mikrosekunden-Bereich sind leichter zu erreichen, wenn die SSDs näher am Host untergebracht sind. Viele Anbieter machen sich diese Tatsache zunutze, indem sie PCI Express (PCIe)-Flashkarten oder SSDs verwenden, die sich wie interne Festplatten in Hosts einstecken lassen. Zusätzlich maximieren lässt sich die Performance dann mit intelligenter Software von Anbietern wie Fusion-io, Proximal Data, SanDisk oder VeloBit.

Sogar Hersteller von Hypervisoren wollen beim Millionen-Spiel mitmischen und zeigen, wie eine einzelne virtuelle Maschine wie ein physischer Server 1 Million IOPS schaffen kann. So kam VMware mit einem verbreiteten Last-Generator und einem nur aus Flash bestehenden Storage-Array des Typs Violin Memory 6000 auf 1 Million IOPS. Microsoft hat nach eigenen Angaben sogar mit Windows Server 2012 1 Million IOPS erreicht. Genau das ist im Übrigen ein Beispiel für die schlechte Vergleichbarkeit von Messungen, denn sie kamen unter ganz unterschiedlichen Bedingungen zustande.

Performance-Messung bei Solid-State Storage

Auch hinsichtlich der Anforderungen für Performance-Messungen gibt es Unterschiede zwischen SSDs und HDDs. Hier kommt es darauf an, sich zu vergewissern, dass veröffentlichte Ergebnisse für SSDs mit den richtigen Verfahren erreicht wurden. Vier Hauptschritte sind nötig, um eine nachhaltige Performance von SSDs belegen zu können:

1. Einen einheitlichen Ausgangspunkt schaffen. Das Solid-State Storage muss sich in einem bekannten, replizierbaren Zustand befinden. Als Ausgangspunkt verbreitet sind neue SSDs, die noch nie verwendet wurden, oder eine Low-Level-Formatierung, die SSDs in ihren Originalzustand zurückbringt.

2. Konditionierung. Solid-State-Storage muss dann in einen „gebrauchten“ Zustand gebracht werden. Bei den ersten Messungen wird es eine künstliche hohe Performance zeigen, die nur temporär zur Verfügung steht und damit nicht nachhaltig ist. Derartige Werte sollten nicht als Beleg für die dauerhafte Performance eines Produkts angeführt werden. Um einen „Gebrauchtzustand“ herbeizuführen, sollte es allgemein ausreichen, das Storage 90 Minuten lang mit zufälligen 4-KB-Schreibvorgängen zu belasten. Die genauen Werte für Dauer und Transfer-Größe bei der Konditionierung können sich je nach Hersteller unterscheiden.

3. Stetiger Zustand. Die Performance-Werte werden sich so auf einem dauerhaften Niveau einpendeln; genau dieses sollte die Grundlage für die Hersteller-Angaben zur Performance sein.

4. Berichterstattung. Wichtig ist auch der Umfang der Berichterstattung. Wenn nicht ohnehin eine Standard-Benchmark mit vollständiger Offenlegung verwendet wurde, müssen zumindest Minimal-Informationen veröffentlicht werden. So kommt es auf die Art des I/O an – meistens wird über 100 Prozent zufällige Lese-Vorgänge berichtet, weil zufälliges Schreiben die Performance beeinträchtigt. Bei Workloads mit zufälligen Schreib-Vorgängen schneidet Solid-State-Storage meist nicht besser ab als HDD-Systeme. Manche Berichte enthalten auch die Zahl der ausstehenden I/Os. Dies kann eine interessante Information sein, wenn zugleich Angaben zur durchschnittlichen Antwortzeit vorliegen.

Selbst wenn diese vier Schritte beachtet werden, kann es noch schwierig sein, Ergebnisse zu vergleichen, wenn keine Vergleichskriterien in Bezug auf faires Vorgehen vorliegen. Weitere Informationen über die vier Schritte finden Sie bei der Solid State Storage Initiative (SSSI) der Storage Networking Industry Association (SNIA).

Standard-Organisationen stehen hinter ihren SSD-Benchmarks

Branchenweite Standard-Benchmarks oder andere weithin akzeptierte sind die beste Grundlage für Wettbewerbsvergleiche mit genügend Informationen über die einzelnen Angebote. Diese Benchmarks basieren meist auf der Workload von Anwendungen und haben strenge Regeln in Bezug auf Messung sowie unabhängige Zertifizierung und/oder Audits. Die Regeln wurden im Sinne des Endnutzers gemacht, weil dieser dann wissen kann, dass eine unabhängige dritte Partei die Informationen verifiziert hat und dass Regeln zur Berichterstattung eingehalten wurden. Zusätzlich ist dafür gesorgt, dass jeweils dieselben Daten im selben Format gemeldet werden, was die Übersicht und Vergleiche mit Tests zu anderen Produkten erleichtert.

Standard-Organisationen wie SPC, SPEC oder SNIA SSSI sind gute Beispiele für Branchen-Initiativen zur Einführung von Standards, die für die korrekte Messung der Performance von Solid-State-Medien sorgen sollen. Die SPC-Workloads zum Beispiel basieren auf Tier-1-Anwendungen und lassen sich mit Ergebnissen reiner Lese-Tests nicht vergleichen.

Solid-State-Technologie befindet sich noch in einem Reifungsprozess, in dem es auch darum geht, die besten Methoden zur Sicherstellung einer nachhaltigen Performance von Storage-Produkten zu entwickeln. Wenn Sie verstehen, wie Messungen bei dieser hochleistungsfähigen Technologie vonstatten gehen, können Sie davon nur profitieren: Es wird Ihnen helfen, ein Gefühl dafür zu bekommen, wo sich mit SSDs die Performance geschäftskritischer Anwendungen sowie von virtualisierten und Cloud-Infrastrukturen erhöhen lässt.

Über den Autor:

Leah Schoeb ist Senior Partner bei der Evaluator Group im US-Bundesstaat Colorado

Artikel wurde zuletzt im Dezember 2012 aktualisiert

Pro+

Premium-Inhalte

Weitere Pro+ Premium-Inhalte und andere Mitglieder-Angebote, finden Sie hier.

Erfahren Sie mehr über Solid-State-Speicher

Diskussion starten

Schicken Sie mir eine Nachricht bei Kommentaren anderer Mitglieder.

Mit dem Absenden dieser Daten erklären Sie sich bereit, E-Mails von TechTarget und seinen Partnern zu erhalten. Wenn Ihr Wohnsitz außerhalb der Vereinigten Staaten ist, geben Sie uns hiermit Ihre Erlaubnis, Ihre persönlichen Daten zu übertragen und in den Vereinigten Staaten zu verarbeiten. Datenschutz

Bitte erstellen Sie einen Usernamen, um einen Kommentar abzugeben.

- GOOGLE-ANZEIGEN

SearchSecurity.de

SearchNetworking.de

SearchEnterpriseSoftware.de

SearchDataCenter.de

Close