ATA als SAN-Protokoll für Ethernet-Netzwerke

High Performance Cluster beim Human Genome Projekt nutzt Coraid-Technik

SR2461 High Performance Speichersystem von coraid mit 24 SATA-Festplatten mit je ein Terabyte Speicherkapazität und 2x 10 Gigabit Ethernet oder 1x ein GbE.

Speicherkapazität soll immer billiger zur Verfügung stehen und gleichzeitig mit höchsten Geschwindigkeiten zugreifbar sein. Die nationale Genom-Sequenzierung in Amerika benutzt dazu das Blockprotokoll AoE und das High-Performance Speichersystem Etherdrive SR2461.

Für den bekanntesten AoE-Protagonisten Coraid ist aktuell das National Human Genome Research Institute (NHGRI) das Vorzeigeprojekt, in dem der Speichersystem-Hersteller die Leistungsfähigekeit seines Produktes nachweisen durfte.

High Performance Cluster hilft bei Genom Sequenzierung

Das NHGRI ist weltweit bekannt geworden durch die Erforschung der menschlichen Genomsequenzen, im wesentlichen angetrieben durch Craig Venter and Francis Collins. Grundlage der schnellen Entzifferung des menschlichen Genoms, waren die Zerschlagung des Genoms in viele Teile, die sich schneller analysieren ließen und die man anschließend wieder zusammensetzte. Auf der technischen Seite half dann High Performance Computing (HPC) bei der Berechnung.

Ergänzendes zum Thema

+ So funktioniert der AoE Treiber

Etherdrive-Produkte von Coraid verwenden das offene ATA-over-Ethernet (AoE) Speicherprotokoll, welches in den folgenden Betriebssystemen, Linux 2.6.11+, ...

Etherdrive-Produkte von Coraid verwenden das offene ATA-over-Ethernet (AoE) Speicherprotokoll, welches in den folgenden Betriebssystemen, Linux 2.6.11+, Solaris und Free BSD bereits nativ enthalten ist. Für die Betriebssysteme Windows, Mac OS und VMware (ESX und ESXi) werden Treiber zur Verfügung gestellt. Nachfolgend eine kurze Beschreibung der Funktionsweise des Treibers.

Bildergalerie

Fotostrecke starten: Klicken Sie auf ein Bild (1 Bilder)

• Ein im Betriebssystem angesiedelter AoE-Protokolltreiber übernimmt die Initiatorfunktion, um Speicherzugriffe über einen Ethernet-Port zu ermöglichen.
• Der AoE-Treiber stellt eine Verbindung zwischen dem Blockdevice Interface zum Ethernettreiber her. Somit können standardmäßige Ethernet-Netzwerkkarten (NIC) verwendet werden.
• Etherdrive-Plattenspeichergeräte werden über standardmäßige Ethernet Anschlüsse angeschlossen (Target Device).
• AoE Target Devices funktionieren wie lokale Plattenlaufwerke und können wie normale Festplattenlaufwerke genutzt werden. Da sie in das Netzwerk integriert sind, können die Festplatten auch von jedem mit dem Netzwerk verbundenen und legitimierten Hostrechner genutzt werden.

+ Shared Storage und Cluster Storage

Coraids AoE Speichereinheiten werden bei ihrer Initialisierung mit einem Signaturlabel belegt. Diese Label enthält unter anderem auch die Zugriffsrechte.

• Ein einzelnes AoE Gerät kann partitioniert werden.
• Jede Partition kann einem einzelnen Server oder einer dedizierten Anwendung zugänglich gemacht werden.
• Jede Partition kann ihr eigenes Dateisystem haben (z. B. EXT3, XFS, ZFS, usw.).
• Ein einzelnes AoE Gerät kann von mehreren Rechnersystemen gemeinsam genutzt werden, wenn ein Clustered-File-System verwendet wird (z.B. GFS, Lustre, usw.).
• Das AoE Protokoll ermöglicht den uneingeschränkten, sowie über Rechte auch den eingeschränkten Zugriff auf den Datenträger.
• Portbasierte VLAN Zugriffszonen können eingerichtet werden.
• Coraids Etherdrive SAN Speichersysteme (SR- und SRX-Serie) unterstützen eine optionale Maschinenadressenfiltrierung (MAC-Filterung), um den Serverzugriff auf jede logische AoE Einheit entsprechend zu begrenzen.

Auf Grundlage dieser Erkenntnisse ist unter anderem ein HPC-Cluster mit 60 Linux-Knoten entstanden, der mit den Etherdrive Systemen SR2461, SR1521 und SR2421 die drei primären Funktionsbereiche abdeckt: den Compute Cluster, eine Nachbearbeitung durch weitere Anwendungsprogramme und die Backup-Dienste.

Inzwischen umfasst der Gesamtspeicher mehr als 200 TByte Speicherkapazität, wobei der Speicher für den Compute Cluster über zehn Gigabit Ethernet und die beiden anderen Funktionen über Gigabit Ethernet angebunden sind.

Für Newcomer von technischem Equipment ist die wissenschaftliche Forschung immer schon ein beliebter Einstieg gewesen, da es vor allem in HPC-Projekten vor allem um Geschwindigkeit und Kosten geht. Das AoE-Protokoll liefert beides.

Spitzengeschwindigkeiten wie bei Fibre Channel

Coraid benutzt bei seinen Etherdrive-Speichersystemen Standard-Ethernet mit ein oder zehn Gigabit pro Sekunde. Der Speicher lässt sich bis auf mehrere Petabyte Kapazitäten ausbauen und kostet nach Angaben des Herstellers weniger als 46 Euro-Cent pro Gigabyte.

Wie bei anderen Speichersystemen auch kann RAID mit den Leveln 0, 1, 5, 6 und 10 konfiguriert werden.

Da der Protokollstack von ATA over Ethernet ohne TCP/IP funktioniert, werden kontinuierliche Transfergeschwindigkeiten von mehr als 500 Megabyte pro Sekunde erreicht, die mit denen von Fibre Channel vergleichbar sind und die weit über denen von iSCSI liegen.

Bei Coraid setzt man auf diesen im Vergleich zu iSCSI und Fibre Channel einfachen Stack, da er die Speicherzugriffsstrukturen vereinfacht und durch massive Parallelisierung mehr Bandbreite bis zur einzelnen Disk bietet.

Die Skalierbarkeit auf diesem verschlankten Stack soll nach Angaben des Unternehmens für 60.000 Knoten ausreichend sein. Die Performance-Tests in VWare-Umgebungen mit ESX-Servern verweisen iSCSI nicht zuletzt deshalb auf den letzten Platz.

Was Speicherhersteller Coraid jetzt noch fehlt ist eine Success-Story, die auch in kommerziellen Umgebungen die hochverfügbare Datenhaltung nachweist. In wissenschaftlichen Cluster-Umgebungen ist dieser Aspekt häufig nachrangig.