Ressourcen

DUG Technology: Exascale-Flash-Datenspeicher

DUG Technology wechselte von Festplattenlaufwerken zu Petabyte an Flash-Datenspeicher, basierend auf Intel® Optane™ Technik.

Auf einen Blick:
D
    UG
  • Technology nimmt eine Vorreiterrolle beim High-Performance-Computing ein und kombiniert innovative Hardware- und Software-Lösungen, die es den Kunden ermöglichen, große und komplexe Datenmengen zu nutzen.
    Um
  • eine belastbare und anpassungsfähige Speicherumgebung aufzubauen, die die Expansion in neue Märkte ermöglichte, wechselte DUG von Festplattenlaufwerken zu Petabyte an Flash-Speicher mit VAST Data Universal Storage, angetrieben von skalierbaren Intel® Xeon® Prozessoren, Intel® Optane SSDs und Intel® QLC 3D-NAND-SSDs, um die Leistung und Zuverlässigkeit zu steigern. D
  • ie
s

eismische Analyse ist eine High Performance Computing (HPC)-Disziplin, bei der es darum geht, aus der Reflexion von Schall zu erkennen, was sich unter der Erdoberfläche befindet. Um nützliche 3D-Analysen zu erstellen, sind Petabytes (PB) an Daten und Tausende von leistungsstarken Computern erforderlich. Nicht einmal große Ölkonzerne verfügen über alle erforderlichen Rechenressourcen, um all diese Analysen intern durchzuführen. Daher wenden sie sich an Unternehmen wie DUG Technology um Details aus ihren Datenbergen herauszukitzeln.

DUG bezeichnet diese Fähigkeit als HPC-as-a-Service (HPCaaS): spezialisierte Full-Stack-Exascale-Berechnungen, die auf Anfrage verfügbar sind. Traditionell war die Computing-as-a-Service-Technologie von DUG nur für bestimmte Kunden wie große Öl- und Gasunternehmen verfügbar. Als der Markt seine Fähigkeiten erkannte, erweiterte DUG sein Angebot auf andere Branchen, die denselben Service nutzen, um eine Vielzahl extremer Rechenanforderungen zu bewältigen.

DUG hat sich entschieden, Unternehmen außerhalb des Energiesektors denselben unkomplizierten Service anzubieten, der nichts weiter als die Bereitstellung der Daten erfordert. DUG wusste, dass sein Angebot an diese neuen Branchen aufgrund des speziellen DUG-McCloud-Dienstes für HPC rentabel ausfallen würde. VAST Data Universal Storage mit Intel® Technik untermauert die DUG McCloud und ermöglichte es DUG, erfolgreich auf neue Gebiete wie den universitären Bereich, die Astrophysik, die Medizin und Genomik, die Simulation von Waldbrandverläufen und die COVID-19-Forschung vorzudringen. Um an diesen Punkt zu gelangen, musste DUG ihren Umgang mit der Speicherung grundlegend ändern.

Herausforderung

Im ersten Jahrzehnt seines Betriebs hat DUG HDD-basierten Speicher bereitgestellt und verwaltet, um die Skalierbarkeit und Kostenersparnis zu erreichen, die seine seismischen Workloads erforderten. In dieser Zeit hat DUG seine Anwendungen gründlich optimiert, um die Möglichkeiten der Lustre-HDD-basierten Infrastruktur zu nutzen und ihre Grenzen zu vermeiden. Hier musste DUG viele Kompromisse eingehen. Wenn zum Beispiel Lustre-Dateisystem-Clients bei einem bestimmten Arbeitsablauf den maximalen Durchsatz erreichen, leiden andere Benutzer, die dasselbe Dateisystem nutzen. Obwohl DUG ihre Software so konzipiert hat, dass sie vor Festplattenausfällen schützt, war der wöchentliche Austausch ausgefallener Festplatten ein ständiger Dorn im Auge von DUG.

Und letztlich waren die Anwendungen von DUG zwar gut für Lustre und Festplattenspeicher optimiert, doch neue Anwendungen, die DUG nunmehr unterstützen wollte, handhabten den Datenspeicher-I/O alle unterschiedlich. Speichervielfalt und Mehrmandantenfähigkeit waren für den DUG von entscheidender Bedeutung; jede neue Lösung musste eine breite Palette von Anforderungen unterstützen und diese im Exascale-Bereich erfüllen. DUG benötigte auch einen Speicher, der die Vielzahl der Durchsatzanforderungen für verschiedene Anwendungen bewältigen konnte. DUG entschied sich für SSD-basierten Speicher, um eine höhere Leistung und Zuverlässigkeit zu erreichen. Die Umstellung auf SSDs auf Lustre wäre jedoch unerschwinglich teuer gewesen, und die Erschwinglichkeit war für DUG von größter Bedeutung.

Um eine belastbare und anpassungsfähige Speicherumgebung aufzubauen, die den Ausbau in neue Märkte ermöglichte, benötigte DUG einen neuen Ansatz für die Speicherung.

Immersion-cooled servers at a DUG data center
Lösung: VAST Data Universal Storage

DUG entschied sich bei der Expansion seiner Geschäftstätigkeit für VAST Data Universal Storage, um den vielfältigen Bedürfnissen neuer Marktsegmente und Kunden nachzukommen. Das „Universal Storage“-Angebot kombiniert Schnelligkeit und Umfang eines parallelen Dateisystems mit einem neuen Niveau wirtschaftlicher Flash-Technik und Mandantenfähigkeit und stellt damit für DUG einen umfassenden technologischen Fortschritt dar. Die DASE-Architektur (Disaggregated Shared Everything) von VAST Data sorgt darüber hinaus durch die Isolierung von nicht optimierten I/O-Vorgängen von anderen Mandanten für gleichbleibende Leistung. Durch das DASE-Konzept eliminiert VAST Data die Probleme bei gleichzeitigem Zugriff auf parallelen Datenspeicher, um für bestimmte Aufgaben hohe Leistung bereitzustellen, die nicht auf Kosten anderer Workloads geht.

Neben deutlich verbesserten Leistungseigenschaften für die Kunden vereint  VAST Data  Zuverlässigkeit, Verwaltbarkeit und Support in einer Weise, wie sie bei der bisherigen HPC-Datenspeichertechnik nicht zu finden ist. Die DASE-Architektur von VAST Data bringt Skalierbarkeit im Exascale-Bereich und ermöglicht DUG in einer Architektur, die eine schnelle Wiederherstellung nach Fehlern ermöglicht, den Ausbau auf Dutzende Petabyte an Flash-Datenspeicher ohne Single Points of Failure. Die Zuverlässigkeit der DASE-Architektur stellt sich von selbst ein: Sie ist ein direktes Resultat der effizienten Datensicherheit von VAST Data und der Zustandslosigkeit der Architektur. Abgesehen von der Ausfallsicherheit vereinfacht VAST Data Universal Storage für DUG auch die Bereitstellung und Verwaltung durch eine integrierte Scale-out-Appliance, die kontinuierlich neue Funktionen ausgibt, welche dann zur Vermeidung von Ausfallzeiten automatisch bei laufendem System appliziert werden.

Überblick über VAST Data Universal Storage mit Intel Datenspeichertechnik

VAST Data Universal Storage stellt einen einzigen globalen Namensraum bereit, damit jede Anwendung auf alle zugehörigen Daten für die betreffende Aufgabe zugreifen kann. Die Lösung von VAST Data kombiniert die Datenspeicherleistung reiner Flash-Technik mit massiver Skalierbarkeit, der Wirtschaftlichkeit von Archiv-typischem Massenspeicher und der Einfachheit der Plug-and-Play-Vernetzung von Netzwerkspeicher (NAS).

Intel® SSDs sind die Hardware-Grundlage für die Kosteneffizienz und Zuverlässigkeit von VAST Data Universal Storage. Intels Kombination aus vertikaler Floating-Gate-Technologie und komplementärer Metall-Oxid-Halbleiter-(CMOS)-Under-Array-Architektur bietet die branchenweit höchste Flächendichte (Gigabyte Speicher pro Quadratmillimeter) bei den gleichen Bits pro Zelle.1 Das bedeutet, dass  ; Intel® QLC 3D-NAND-SSDs bieten nicht nur eine höhere Flächendichte als Triple-Level-Cell (TLC)-Medien der vorherigen Generation, sondern auch eine größere Flächendichte und höhere Zuverlässigkeit als konkurrierende Quad-Level-Cell (QLC)-Designs auf Basis der Charge-Trap-Technologie. 1  Die Innovationen von Intel in der Speicherarchitektur ermöglichen es der Lösung von VAST Data, kostengünstig alle Daten auf Flash-Datenträgern zu speichern. Die Kosteneffizienz und hohe Zuverlässigkeit von Intel QLC-3D-NAND-SSDs bilden die Grundlage der von VAST Data implementierten Architektur zur Kostenreduzierung um bis zu 85 % gegenüber Festplattenlaufwerken (HDDs), was bedeutet, dass die auf die Kapazität bezogenen Kosten (Dollar-per-Gigabyte) denen von Systemen mit Festplatten über einen Zeitraum von etwa 10 Jahren entsprechen.2 3

Intel® Optane™ SSDs steigern die Schreibleistung bei Workloads, die mit VAST Data Universal Storage arbeiten. Entscheidend dafür ist, dass Intel Optane SSDs Schreibzugriffe auf den Datenspeicher puffern, was vollständige QLC-Erase-Block-Schreibvorgänge ermöglicht. Die geringe Latenz, hohe Beständigkeit und hohe Leistung bei wahlfreien 4K-Schreibvorgängen der Intel Optane SSDs trägt dazu bei, sicherzustellen, dass langfristig und kurzfristig gespeicherte Daten nicht in großen QLC-Blocks beieinanderliegen. Die Intel Optane Technik schützt Intel QLC-3D-NAND-SSDs vor ineffizientem Schreibverhalten, was ein Grund dafür ist, dass VAST Data eine 10-jährige SSD-Haltbarkeitsgarantie und zugleich die wirtschaftlichen Vorteile der kostengünstigen QLC-NAND-Technik anbieten kann.2 3

Logical diagram of the VAST Data Universal Storage solution

Datenspeicherkapazität, -kosten und -funktion sind jedoch nur einige Aspekte von VAST Data Universal Storage. Die VAST Data Lösung ist auch sehr anspruchsvoll in der Implementierung neuer Algorithmen, die völlig neue Ebenen der Datenreduzierung und der Datenschutz-Effizienz eröffnen.4 VAST Data Universal Storage vereint alle diese architektonischen Aspekte mit  Skalierbare Intel® Xeon® Prozessoren der 2. Generation um eine neue Klasse globaler Algorithmen in einem DASE-Cluster zu implementieren.4 Diese Prozessoren bieten die Rechenleistung für VAST Data Universal Storage und wichtige Beschleunigungsbibliotheken. Das Storage Performance Development Kit (SPDK) dient als Beschleuniger für VAST Data Universal Storage, um von jeder CPU aus Zugriffe mit niedriger Latenz auf jedes QLC- und Intel Optane SSD zu ermöglichen. Dabei macht das SPDK komplexe und eine unbeständige Cache-Kohärenz betreffende Operationen überflüssig, die ansonsten eine Skalierung in herkömmlichen Shared-Nothing-Datenspeicherarchitekturen behindern können.

VAST Data Universal Storage verbindet CPUs mit NVMe-Systemkomponenten (NVM Express) mittels NVMe-oF-Protokoll (NVMe over Fabrics), um eine verteilte Skalierung mit der Leistung und Latenz von Direct-Attached Storage (DAS) zu ermöglichen.5  NVMe-oF findet Anwendung in Standard-Ethernet- oder InfiniBand-Netzwerken, um die Auftrennung von Ressourcen und eine Shared-Everything-Architektur über Standard-Fabrics in Rechenzentren zu ermöglichen. Die VAST-Data-Vernetzung stellt das System über vorhandene Protokolle wie NFS (Network File System), Server-Message-Block (SMB) und eine Amazon-S3-kompatible API bereit, sodass Anwendungen, die universellen Datenspeicher nutzen, keine speziellen Adapter, Formate oder Protokolle benötigen.

VAST Data hat den Umgang von DUG mit Daten verändert

DUG nutzt die Lösung von VAST Data im Produktionsbetrieb seit Dezember 2019 in den DUG-Rechenzentren Houston, Texas und im australischen Perth. Ein weiterer Ausbau ist geplant. Tatsächlich plant DUG, seine Rechenkapazitäten in den Jahren 2020 und 2021 in Houston zu verdoppeln und jene in Perth auf mehr als das Doppelte zu erweitern. Von Vorteil ist dabei, dass die Lösung von VAST Data mit zunehmendem Umfang zuverlässiger wird.

DUG Technology stellt seit jeher große Anforderungen an den Datenspeicher. Projekte für die Verarbeitung seismischer Daten kommen mit einem Umfang von mehr als 1 PB bei DUG an und dehnen sich während der Verarbeitung auf das 6- bis 8-Fache aus. Bei einem einzigen Projekt mit seismischen Daten kopiert und schreibt DUG diese Daten bis zu 50-mal – und DUG bearbeitet in der Regel mehr als 100 Projekte gleichzeitig. VAST Data Universal Storage ist für diese Art von Datenwachstum perfekt und hilft DUG, sicherzustellen, dass die Leistung fair auf alle um gemeinsam genutzte HPC-Ressourcen miteinander konkurrierende Anwendungen verteilt wird.

Neben der effizienten Verarbeitung riesiger Datenmengen ist die Datenreduktion von VAST Data ein weiteres Glanzlicht. Für DUG ist dies ein Kostensenker. Selbst bei seismischen Daten, die besonders schwer zu reduzieren sind, können die leistungsstarken Funktionen für die Datenreduktion von VAST Data erhebliche Kosten einsparen. DUG Technology erwartet durch ein neues, auf Ähnlichkeiten basierendes Konzept von VAST Data zur globalen Datenkompression größere Einsparungen anhand von Datenreduzierung bei unterschiedlichen Workloads.

Ein weiterer Vorteil für DUG ist, dass VAST Data den Datenspeicher rund um die Uhr (24/7) für DUG fernverwaltet. Dies ist das erste Mal, dass DUG davon profitiert hat, dass ein Anbieter die Appliance-Fernverwaltung für den Datenspeicher übernimmt. Bei Updates muss DUG keine Ausfallzeiten in Kauf nehmen und seine IT-Admins können sicher sein, dass VAST Data die Leistung und Verfügbarkeit der Datenspeicherumgebung lückenlos überwacht. Aus diesem Grund kann DUG die Datenspeicherkapazität ausbauen, ohne sein dafür zuständiges Team zu vergrößern.

Datenspeicher als strategischer Vermögenswert

Der erfolgreiche Einstieg von DUG in neue Marktsegmente wurde durch VAST Data Universal Storage – basierend auf Technik von Intel – möglich. Die Datenspeicherlösung von VAST Data verschaffte DUG Technology die Kapazität, Leistung und Zuverlässigkeit, um die Festplatten- und komplexe HPC-Dateispeichertechnik hinter sich zu lassen und seinen Kunden aus dem Erdöl- und Erdgassektor und anderen Wirtschaftsbereichen Funktionalität auf höchstem Niveau zu bieten. Ein rein auf Halbleitertechnik beruhender Datenspeicher deckt die konsistenten und vielfältigen Hochleistungsmerkmale ab, die es DUG ermöglichen, seine mandantenfähige Cloud-Umgebung effizient für den nächsten Wachstumsschub auszubauen. Die von VAST Data gebotene Datenspeichertechnik, Zuverlässigkeit und einfache Verwaltung hat den Datenspeicher zu einem strategischen Vorteil für DUG gemacht und es dem Unternehmen ermöglicht, seine weitergehenden Geschäftsziele besser zu erreichen.

Über DUG Technology

Mit mehr als 17 Jahren Erfahrung und Rechenzentren in Perth, Houston, London und Kuala Lumpur gehört DUG Technology zur Spitze der HPC-Anwender. Das Unternehmen kombiniert innovative Hardware- und Software-Lösungen, die es den Kunden ermöglichen, große und komplexe zusammenhängende Datenmengen zu nutzen. Seine Erfahrung in der Branche und starke Wurzeln in der angewandten Physik versetzen DUG Technology in die Lage, Kunden in direkter Form oder über seine DUG-McCloud-Plattform HPCaaS-Dienste auf dem neuesten Stand der Technik zu bieten.

Weitere Informationen

Lesen Sie das Exascale-NAS-Whitepaper von VAST Data.

PDF herunterladen