DUG Technology: Exascale-Flash-Datenspeicher
DUG Technology wechselte von Festplattenlaufwerken zu Petabyte an Flash-Datenspeicher, basierend auf Intel® Optane™ Technik.
Auf einen Blick
- DUG Technology nimmt eine Vorreiterrolle beim High-Performance-Computing ein und kombiniert innovative Hardware- und Software-Lösungen, die es den Kunden ermöglichen, große und komplexe zusammenhängende Datenmengen zu nutzen.
- Um eine robuste und anpassungsfähige Speicherumgebung aufzubauen, die die Expansion in neue Märkte ermöglicht, wechselte DUG von Festplattenlaufwerken zu Petabytes an Flash-Speicher mit VAST Data Universal Storage, der von der 2. Generation der skalierbaren Intel® Xeon® Prozessoren, Intel® Optane SSDs und Intel® QLC 3D NAND SSDs unterstützt wird, um die Leistung und Zuverlässigkeit zu steigern.
Die seismische Analyse ist eine High Performance Computing (HPC)-Disziplin, bei der es darum geht, aus der Reflexion von Schall zu erkennen, was sich unter der Erdoberfläche befindet. Um brauchbare 3D-Analysen erstellen zu können, sind Petabytes (PB) an Daten und Tausende von leistungsstarken Computern erforderlich. Nicht einmal die großen Ölgesellschaften verfügen über die notwendigen Rechenressourcen, um alle diese Analysen intern durchzuführen. Deshalb wenden sie sich an Unternehmen wie DUG Technology, um Details aus ihren Datenbergen herauszukitzeln.
DUG bezeichnet diese Fähigkeit als HPC-as-a-Service (HPCaaS): spezialisierte, vollwertige Exascale-Rechenleistung, die auf Anfrage verfügbar ist. Bisher war die Compute-as-a-Service-Technologie von DUG nur für bestimmte Kunden, wie zum Beispiel große Öl- und Gasunternehmen, verfügbar. Als der Markt auf die Fähigkeiten von DUG aufmerksam wurde, hat das Unternehmen sein Angebot auf andere Branchen ausgeweitet, die den gleichen Service nutzen, um eine Vielzahl von extremen Rechenanforderungen zu erfüllen.
DUG beschloss, den gleichen einfachen Service für Unternehmen außerhalb des Energiesektors anzubieten, die nichts als ihre Daten mitbringen. DUG wusste, dass es diese neuen Industriezweige aufgrund des speziellen DUG McCloud-Dienstes für HPC wirtschaftlich bedienen konnte. VAST Data Universal Storage, das auf Intel®-Technologien basiert, bildet die Grundlage für DUG McCloud und ermöglichte es DUG, erfolgreich in neue Branchen vorzudringen, darunter Wissenschaft, Astrophysik, Medizin und Genomik, Modellierung von Waldbränden und COVID-19-Forschung. Um an diesen Punkt zu gelangen, musste DUG jedoch seinen Umgang mit der Speicherung grundlegend ändern.
Herausforderung
Im ersten Jahrzehnt seines Betriebs hat DUG HDD-basierten Speicher bereitgestellt und verwaltet, um die Skalierbarkeit und Kostenersparnis zu erreichen, die seine seismischen Workloads erforderten. In dieser Zeit hat DUG seine Anwendungen gründlich optimiert, um die Möglichkeiten der Lustre-HDD-basierten Infrastruktur zu nutzen und ihre Grenzen zu vermeiden. Hier musste DUG viele Kompromisse eingehen. Wenn zum Beispiel Lustre-Dateisystem-Clients bei einem bestimmten Arbeitsablauf den maximalen Durchsatz erreichen, leiden andere Benutzer, die dasselbe Dateisystem nutzen. Obwohl DUG ihre Software so konzipiert hat, dass sie vor Festplattenausfällen schützt, war der wöchentliche Austausch ausgefallener Festplatten ein ständiger Dorn im Auge von DUG.
Und letztlich waren die Anwendungen von DUG zwar gut für Lustre und Festplattenspeicher optimiert, doch neue Anwendungen, die DUG nunmehr unterstützen wollte, handhabten den Datenspeicher-I/O alle unterschiedlich. Speichervielfalt und Mehrmandantenfähigkeit waren für den DUG von entscheidender Bedeutung; jede neue Lösung musste eine breite Palette von Anforderungen unterstützen und diese im Exascale-Bereich erfüllen. DUG benötigte auch einen Speicher, der die Vielzahl der Durchsatzanforderungen für verschiedene Anwendungen bewältigen konnte. DUG entschied sich für SSD-basierten Speicher, um eine höhere Leistung und Zuverlässigkeit zu erreichen. Die Umstellung auf SSDs auf Lustre wäre jedoch unerschwinglich teuer gewesen, und die Erschwinglichkeit war für DUG von größter Bedeutung.
Um eine belastbare und anpassungsfähige Speicherumgebung aufzubauen, die den Ausbau in neue Märkte ermöglichte, benötigte DUG einen neuen Ansatz für die Speicherung.
Test
Lösung: VAST Data Universal Storage
DUG entschied sich bei der Expansion seiner Geschäftstätigkeit für VAST Data Universal Storage, um den vielfältigen Bedürfnissen neuer Marktsegmente und Kunden nachzukommen. Das „Universal Storage“-Angebot kombiniert Schnelligkeit und Umfang eines parallelen Dateisystems mit einem neuen Niveau wirtschaftlicher Flash-Technik und Mandantenfähigkeit und stellt damit für DUG einen umfassenden technologischen Fortschritt dar. Die DASE-Architektur (Disaggregated Shared Everything) von VAST Data sorgt darüber hinaus durch die Isolierung von nicht optimierten I/O-Vorgängen von anderen Mandanten für gleichbleibende Leistung. Durch das DASE-Konzept eliminiert VAST Data die Probleme bei gleichzeitigem Zugriff auf parallelen Datenspeicher, um für bestimmte Aufgaben hohe Leistung bereitzustellen, die nicht auf Kosten anderer Workloads geht.
Neben deutlich verbesserten Leistungseigenschaften für die Kunden vereint VAST Data Zuverlässigkeit, Verwaltbarkeit und Support in einer Weise, wie sie bei der bisherigen HPC-Datenspeichertechnik nicht zu finden ist. Die DASE-Architektur von VAST Data bringt Skalierbarkeit im Exascale-Bereich und ermöglicht DUG in einer Architektur, die eine schnelle Wiederherstellung nach Fehlern ermöglicht, den Ausbau auf Dutzende Petabyte an Flash-Datenspeicher ohne Single Points of Failure. Die Zuverlässigkeit der DASE-Architektur stellt sich von selbst ein: Sie ist ein direktes Resultat der effizienten Datensicherheit von VAST Data und der Zustandslosigkeit der Architektur. Abgesehen von der Ausfallsicherheit vereinfacht VAST Data Universal Storage für DUG auch die Bereitstellung und Verwaltung durch eine integrierte Scale-out-Appliance, die kontinuierlich neue Funktionen ausgibt, welche dann zur Vermeidung von Ausfallzeiten automatisch bei laufendem System appliziert werden.
Überblick über VAST Data Universal Storage mit Intel Datenspeichertechnik
VAST Data Universal Storage stellt einen einzigen globalen Namensraum bereit, damit jede Anwendung auf alle zugehörigen Daten für die betreffende Aufgabe zugreifen kann. Die Lösung von VAST Data kombiniert die Datenspeicherleistung reiner Flash-Technik mit massiver Skalierbarkeit, der Wirtschaftlichkeit von Archiv-typischem Massenspeicher und der Einfachheit der Plug-and-Play-Vernetzung von Netzwerkspeicher (NAS).
Intel® SSDs sind die Hardware-Grundlage für die Kosteneffizienz und Zuverlässigkeit von VAST Data Universal Storage. Intels Kombination aus vertikaler Floating-Gate-Technologie und komplementärer Metall-Oxid-Halbleiter-(CMOS)-Under-Array-Architektur bietet die branchenweit höchste Flächendichte (Gigabyte Speicher pro Quadratmillimeter) bei den gleichen Bits pro Zelle.1 Das bedeutet, dass Intel® QLC 3D NAND SSDs Nicht nur eine größere Flächendichte als die dreifachen Zellentypen (TLC) der vorherigen Generation bieten, sondern eine größere Flächendichte und eine höhere Zuverlässigkeit als konkurrierende Quad-Level-Cell (QLC)-Designs auf Basis der Charge-Trap-Technologie.1 Die architektonischen Innovationen von Intel ermöglichen der VAST Data-Lösung, alle Daten auf Flash-Laufwerken zu speichern. Die Kosteneffizienz und hohe Zuverlässigkeit von Intel QLC-3D-NAND-SSDs bilden die Grundlage der von VAST Data implementierten Architektur zur Kostenreduzierung um bis zu 85 % gegenüber Festplattenlaufwerken (HDDs), was bedeutet, dass die auf die Kapazität bezogenen Kosten (Dollar-per-Gigabyte) denen von Systemen mit Festplatten über einen Zeitraum von etwa 10 Jahren entsprechen.2 3
Intel® Optane™ SSDs steigern zusätzlich die Schreibleistung bei Workloads, die mit VAST Data Universal Storage arbeiten. Entscheidend dafür ist, dass Intel Optane SSDs Schreibzugriffe auf den Datenspeicher puffern, was vollständige QLC-Erase-Block-Schreibvorgänge ermöglicht. Die geringe Latenz, hohe Beständigkeit und hohe Leistung bei wahlfreien 4K-Schreibvorgängen der Intel Optane SSDs trägt dazu bei, sicherzustellen, dass langfristig und kurzfristig gespeicherte Daten nicht in großen QLC-Blocks beieinanderliegen. Die Intel Optane Technik schützt Intel QLC-3D-NAND-SSDs vor ineffizientem Schreibverhalten, was ein Grund dafür ist, dass VAST Data eine 10-jährige SSD-Haltbarkeitsgarantie und zugleich die wirtschaftlichen Vorteile der kostengünstigen QLC-NAND-Technik anbieten kann.2 3
Datenspeicherkapazität, -kosten und -funktion sind jedoch nur einige Aspekte von VAST Data Universal Storage. Die Lösung von VAST Data zeigt sich auch als hoch entwickelt, was die Implementierung neuer Algorithmen anbelangt, die zu deutlich effizienterer Datenreduktion und Datensicherheit führen.4 VAST Data Universal Storage vereint alle diese Aspekte der Datenspeicherarchitektur mit der 2. Generation der skalierbaren Intel® Xeon® Prozessorreihe, um in einem DASE-Cluster eine neue Klasse globaler Algorithmen zu implementieren.4 Diese Prozessoren liefern die Rechenleistung, auf die VAST Data Universal Storage und wichtige Acceleration-Bibliotheken aufbauen. Das Storage Performance Development Kit (SPDK) dient als Beschleuniger für VAST Data Universal Storage, um von jeder CPU aus Zugriffe mit niedriger Latenz auf jedes QLC- und Intel Optane SSD zu ermöglichen. Dabei macht das SPDK komplexe und eine unbeständige Cache-Kohärenz betreffende Operationen überflüssig, die ansonsten eine Skalierung in herkömmlichen Shared-Nothing-Datenspeicherarchitekturen behindern können. VAST Data Universal Storage verbindet CPUs mit NVM Express (NVMe)-Geräten unter Verwendung des NVMe-oF-Protokolls (NVMe over Fabrics), um eine verteilte Skalierung mit der Leistung und Latenz von Direct-Attached Storage (DAS) zu ermöglichen.5 NVMe-oF läuft über Standard-Ethernet- oder InfiniBand-Netzwerke, um die Disaggregation von Ressourcen und eine Shared-Everything-Architektur über Standard-Fabrics in Rechenzentren zu ermöglichen. Die VAST-Data-Vernetzung stellt das System über vorhandene Protokolle wie NFS (Network File System), Server-Message-Block (SMB) und eine Amazon-S3-kompatible API bereit, sodass Anwendungen, die universellen Datenspeicher nutzen, keine speziellen Adapter, Formate oder Protokolle benötigen.
VAST Data hat den Umgang von DUG mit Daten verändert
DUG nutzt die Lösung von VAST Data im Produktionsbetrieb seit Dezember 2019 in den DUG-Rechenzentren Houston, Texas und im australischen Perth. Ein weiterer Ausbau ist geplant. Tatsächlich plant DUG, seine Rechenkapazitäten in den Jahren 2020 und 2021 in Houston zu verdoppeln und jene in Perth auf mehr als das Doppelte zu erweitern. Von Vorteil ist dabei, dass die Lösung von VAST Data mit zunehmendem Umfang zuverlässiger wird.
DUG Technology stellt seit jeher große Anforderungen an den Datenspeicher. Projekte für die Verarbeitung seismischer Daten kommen mit einem Umfang von mehr als 1 PB bei DUG an und dehnen sich während der Verarbeitung auf das 6- bis 8-Fache aus. Bei einem einzigen Projekt mit seismischen Daten kopiert und schreibt DUG diese Daten bis zu 50-mal – und DUG bearbeitet in der Regel mehr als 100 Projekte gleichzeitig. VAST Data Universal Storage ist für diese Art von Datenwachstum perfekt und hilft DUG, sicherzustellen, dass die Leistung fair auf alle um gemeinsam genutzte HPC-Ressourcen miteinander konkurrierende Anwendungen verteilt wird.
Neben der effizienten Verarbeitung riesiger Datenmengen ist die Datenreduktion von VAST Data ein weiteres Glanzlicht. Für DUG ist dies ein Kostensenker. Selbst bei seismischen Daten, die besonders schwer zu reduzieren sind, können die leistungsstarken Funktionen für die Datenreduktion von VAST Data erhebliche Kosten einsparen. DUG Technology erwartet durch ein neues, auf Ähnlichkeiten basierendes Konzept von VAST Data zur globalen Datenkompression größere Einsparungen anhand von Datenreduzierung bei unterschiedlichen Workloads.
Ein weiterer Vorteil für DUG ist, dass VAST Data den Datenspeicher rund um die Uhr (24/7) für DUG fernverwaltet. Dies ist das erste Mal, dass DUG davon profitiert hat, dass ein Anbieter die Appliance-Fernverwaltung für den Datenspeicher übernimmt. Bei Updates muss DUG keine Ausfallzeiten in Kauf nehmen und seine IT-Admins können sicher sein, dass VAST Data die Leistung und Verfügbarkeit der Datenspeicherumgebung lückenlos überwacht. Aus diesem Grund kann DUG die Datenspeicherkapazität ausbauen, ohne sein dafür zuständiges Team zu vergrößern.
Datenspeicher als strategischer Vermögenswert
Der erfolgreiche Einstieg von DUG in neue Marktsegmente wurde durch VAST Data Universal Storage – basierend auf Technik von Intel – möglich. Die Datenspeicherlösung von VAST Data verschaffte DUG Technology die Kapazität, Leistung und Zuverlässigkeit, um die Festplatten- und komplexe HPC-Dateispeichertechnik hinter sich zu lassen und seinen Kunden aus dem Erdöl- und Erdgassektor und anderen Wirtschaftsbereichen Funktionalität auf höchstem Niveau zu bieten. Ein rein auf Halbleitertechnik beruhender Datenspeicher deckt die konsistenten und vielfältigen Hochleistungsmerkmale ab, die es DUG ermöglichen, seine mandantenfähige Cloud-Umgebung effizient für den nächsten Wachstumsschub auszubauen. Die von VAST Data gebotene Datenspeichertechnik, Zuverlässigkeit und einfache Verwaltung hat den Datenspeicher zu einem strategischen Vorteil für DUG gemacht und es dem Unternehmen ermöglicht, seine weitergehenden Geschäftsziele besser zu erreichen.
Über DUG Technology
Mit mehr als 17 Jahren Erfahrung und Rechenzentren in Perth, Houston, London und Kuala Lumpur gehört DUG Technology zur Spitze der HPC-Anwender. Das Unternehmen kombiniert innovative Hardware- und Software-Lösungen, die es den Kunden ermöglichen, große und komplexe zusammenhängende Datenmengen zu nutzen. Seine Erfahrung in der Branche und starke Wurzeln in der angewandten Physik versetzen DUG Technology in die Lage, Kunden in direkter Form oder über seine DUG-McCloud-Plattform HPCaaS-Dienste auf dem neuesten Stand der Technik zu bieten.