50 Petabyte pro Cluster mit EMC Isilon Data Lake Speicherinfrastruktur

Schwalbach, Starnberg, 20. Febr. 2015 – Betriebssystem Isilon OneFS liefert native Integration von HDFS 2.3 und 2.4 und OpenStack Swift...

Zum Hintergrund: EMC hat neue HW-Produkte und Software für seine sog. Data Lake - Foundation angekündigt. Die EMC Data Lake - Foundation ist eine konsolidierte Speicherinfrastruktur, in der Rohdaten aus unterschiedlichen Quellen gespeichert werden. Damit können Storage-Silos abgebaut und Daten konsolidiert verwaltet werden. Die Data Lake Foundation ist das Fundament für die übergeordnete Business-Data-Lake-Architektur. Diese kombiniert Datenspeicher, Anwendungen und Analysewerkzeuge zur anwenderbezogenen Auswertung von verschiedenen Datenformaten.

Die neue NAS-Speicherplattform Isilon HD400 liefert 2.5 x mehr Kapazität als die bisher verfügbaren Isilon-Modelle. Die Version 7.2 des Betriebssystems OneFS integriert Hadoop 2.3 und 2.4 und unterstützt OpenStack Swift. Weiter wurde die Hadoop-Distribution von Hortonworks für EMC Isilon zertifiziert. HD400 kann die Speicherkapazität auf bis zu 50 Petabyte pro Cluster skalieren. Zielanwendungen sind:        

  • Big-Data-Analytics

  • Langzeit-Archivierung von Daten, auf die voraussichtlich niemals wieder zugegriffen wird, die aber auch nicht gelöscht werden dürfen (Deep Archiving)

  • Die Datenwiederherstellung im Notfall

Zum Thema Data Protection und Datenverfügbarkeit stehen laut Hersteller neue Protection Policies, Auditing-Möglichkeiten und Authentifizierungsfunktionen zur Verfügung. Die Speicherkapazität beträgt 3,2 Petabyte pro Rack; die Betriebskosten für Strom, Kühlung und Stellfläche sollen laut Anbieter um bis zu 50 Prozent gegenüber vergleichbaren Lösungen reduziert sein.

Native Unterstützung von HDFS 2.4 und von OpenStack Swift

Das Isilon-Betriebssystem OneFS 7.2 integriert ein Hadoop-Filesystem in den Versionen HDFS 2.3 und 2.4. Ferner ist die native Einbindung von OpenStack Swift gegeben. Datei-, Objekt- und Hadoop-Workloads werden gleichzeitig unterstützt.

Hortonworks wird neuer Lösungspartner: Zu den bisherigen ISV-Lösungspartnern für die EMC Data Lake Foundation, Cloudera und Pivotal kommt Hortonworks neu dazu. Die Analyseanwendungen von Hortonworks für EMC Isilon wurden hierzu zertifiziert. Apache Ambari kann damit zur Verwaltung, Überwachung und Bereitstellung von Hadoop-Clustern auf Isilon-Storage eingesetzt werden.

EMC Elastic Cloud Storage

Die Produktfamilie für die Data Lake Foundation wurde ferner um die Elastic Cloud Storage (ECS) Appliance erweitert. Die ECS Appliance ist eine hyperskalierbare Objektspeicherplattform, die das Management einer geografisch verteilten Umgebung als eine logische Ressource ermöglicht. Sie liefert Zugriffsmöglichkeiten mit Unterstützung für Block-, Objekt- und HDFS-Daten. Die weiteren Funktionen der ECS Appliance umfassen:

  • Global skalierbare Analysewerkzeuge mit HDFS-Unterstützung

  • Programmierschnittstellen für die transparente Anbindung an verschiedene Public-Cloud-Plattformen.


 

Abb. 1: EMC Isilon Architekturübersicht / Bildquelle Hersteller, Febr. 2015

http://blog.emc2.de/

AnhangGröße
Image icon EMC Isilon Architekturüberblick148.45 KB