IBM Software Defined Storage für sehr große Datenmengen

Starnberg, 16. Mai 2014 - Elastic Storage als gemeinsamer Speicherpool; theoretische Architekturbeschränkung auf tausende von Yottabytes erweitert...

Zum Hintergrund: Sie erinnern sich noch an den Begriff Information Life-cycle Management, ILM? Mittel Virtualisierung im Storage-Infrastrukturstack werden ILM-Funktionalitäten (HSM Technik) nun Policy-basiert plattformübergreifend und skalierbar verfügbar – Standortunabhängig on-premise oder mit Clouds. Eine dieser neu vorgestellten Technologien, IBM Elastic Storage, verschiebt die Daten automatisch auf das jeweils wirtschaftlichste Speichersystem; damit können laut Hersteller die Speicherkosten in der Spitze um bis zu 90 Prozent reduziert werden. Die neue Speichersoftware eignet sich vor allem für datenintensive Anwendungen, die einen Hochgeschwindigkeitszugang zu sehr großen Datenmengen erfordern (Seismik, Risikomanagement, Finanzanalysen, Wettervorhersagen oder die wissenschaftliche Forschung). Software-Defined-Storage bezeichnet laut IBM-Definiton in diesem Zusammenhang eine Reihe von Software-Funktionalitäten, die Daten automatisch lokal und global verarbeiten lassen. Es kann auf praktisch fast jedem vorhandenen Speichersystem aufsetzen, um eine automatisierte und virtualisierte Speicherung zu ermöglichen.

Elastic Storage erlaubt es die Daten automatisch und intelligent auf das geeignetste, wirtschaftlichste System zu migrieren. Mittels Echtzeitanalyse und Policies kann Elastic Storage z.B. selten verwendete Daten auf ein preiswertes Bandlaufwerk übertragen. Häufig genutzte Daten werden auf Flash-Storage gespeichert. 

Die Software verfügt über eine eigene Verschlüsselung und Löschfunktionen. Somit werden regulatorische Vorgaben wie HIPAA und Sarbanes-Oxley erfüllt. Durch die Unterstützung der OpenStack Cloud-Management-Software kann Elastic Storage Daten in Private-, Public- und Hybrid-Clouds für die globale Verarbeitung speichern und verwalten.

Im Kern basiert IBM Elastic Storage auf der Global Parallel File System-Software (GPFS) und bietet Online-Speicherverwaltung, skalierbaren Zugang und integrierte Data-Governance-Werkzeuge. Elastic Storage unterstützt nicht nur OpenStack Cinder- und Swift-Zugriff, sondern auch andere offene APIs wie POSIX und Hadoop für Big Data. 

  • Elastic Storage nutzt einen serverseitigen Flash-Speicher für eine bis zu sechs mal höhere I/O-Leistung. Die Software erkennt, wenn Flash-Speicher benötigt wird, nutzt diesen automatisch und erhöht die Leistung.
  • Elastic Storage virtualisiert den Speicher und ermöglicht verschiedenen Systemen und Anwendungen einen Zugang zu gemeinsamen Speicherpools. So kann ein transparenter, globaler Zugang zu Daten geschaffen werden, ohne Anwendungen zu modifizieren und ohne zusätzliche Speichermanagementsoftware.
  • Da Elastic Storage kein zentrales Management für die Bestimmung der Dateiorten benötigt, haben Kunden auch im Falle eines Software- oder Hardwarefehlers einen kontinuierlichen und hochverfügbaren Zugriff auf die Daten.

Anwenderbeispiele:

  1. Für das Computational und Information Services Laboratory (CISL) des US-National Center for Atmospheric Research gehört das Datenwachstum in hohem Maßstab zum Alltag. Die Organisation, die mehr als 50 Petabytes an Informationen an den Standorten Wyoming and Colorado speichert und verwaltet, setzt auf Elastic Storage. So kann die Organisation Forschern jederzeit einen schnellen Zugang zu den riesigen Mengen an unterschiedlichsten Daten ermöglichen.
  2. "Wir bieten Rechen-, Ausbildungs- und Forschungsdatenservices im Bereich Geowissenschaften für mehr als 1000 Nutzer an mehr als 200 verschiedenen Standorten“, sagt Pamela Gillman, Manager, Data Analysis Services Group, CISL. „Die globale Filesystem-Software von IBM ermöglicht uns einen skalierbaren, sicheren und schnellen Zugang zu diesen Informationen. Das hat die Leistung der unterschiedlichen Funktionen und der gesamten Organisation entscheidend verbessert.“

Die Basistechnologie von Elastic Storage wurde für das "Jeopardy!-Quiz-Match" zwischen dem IBM Watson-System und zwei ehemaligen Jeopardy! Champions genutzt. Während der Show hatte Watson Zugriff auf 200 Millionen Seiten strukturierter und polystrukturierter Daten und den Inhalten von Wikipedia. Durch den Einsatz von Elastic Storage konnten die fünf Terabyte von Watson’s Wissenbasis (was 200 Millionen Seiten entsprach) in wenigen Minuten in den Speicher des Computers geladen werden.

  • Für Watson wurde die Software aufgrund ihrer Skalierbarkeit ausgewählt, da die theoretische Architekturbeschränkung auf tausende von Yottabytes ausgeweitet werden konnte und damit auch nach heutigen Maßstäben auf längere Zeit dem praktischen Bedarf genügt. Ein Yottabyte entspricht einer Milliarde Petabyte (10 hoch 24 Byte). 
  • Die IBM Forschung hat auch gezeigt, dass Elastic Storage zehn Milliarden Dateien auf einem einzigen Cluster in nur 43 Minuten durchsuchen kann. Diese Leistung ist ein Beispiel dafür, wie Kunden eine riesige Datenmenge vorhalten und auswerten und so bessere Einblicke in ihr Unternehmen erhalten können.

Während traditionelle Speichersysteme die Daten für Transaktionsverarbeitung und für Analytik auf separaten Systemen speichern mussten, können die Resourcen mittels Elastic Storage automatisch ausbalanciert werden, um beide Anwendungsworkloads inclusive Hadoop-basierte Analysen zu unterstützen. Dies führt zu einer schnelleren und zeitsparenden Analyse, da keine Daten-Duplikate mehr produziert werden,

Elastic Storage von IBM wird voraussichtlich im Verlauf des Jahres auch als IBM SoftLayer Cloud Service verfügbar werden. Weitere Informationen unter:

http://www.ibm.com/storage