Karlsruhe, Starnberg, 27./28. Jan. 2014 - Globales Lustre Filesystem wird als paralleles Dateisystem über ein separates InfiniBand Netzwerk angebunden…
Zum Hintergrund: Um der zunehmenden Bedeutung des wissenschaftlichen Rechnens in Forschung und Lehre begegnen zu können, sind wissenschaftliche Institutionen auf modernste Infrastrukturen angewiesen. „Der bwUniCluster als Teil der landesweiten Konzeption ersetzt bzw. ergänzt die lokalen Hochleistungsrechner-Ressourcen an den Landesuniversitäten und ermöglicht so ein arbeitsteiliges und effizienteres Vorgehen“, erklärt Dr. Holger Marten, Abteilungsleiter am Steinbuch Centre for Computing (SCC) für Wissenschaftliches Rechnen und Simulation. Das neue Hochleistungsrechner-System „bwUniCluster“ als Antwort auf diese Herausforderungen ging gestern am 27. Januar 2014 am Karlsruher Institut für Technologie (KIT) in Betrieb. Er ist das erste zentrale System für eine flächendeckende Grundversorgung der baden-württembergischen Universitäten und Hochschulen mit Hochleistungsrechnerkapazität.
Seine derzeitige Rechenleistung von 176 Tera-Flop/s entspricht laut KIT der von rund 5.000 breitbandig miteinander vernetzten High-End-PCs. Der Rechner ist Teil des baden-württembergischen Landeskonzepts „bwHPC“ für das Hoch- und Höchstleistungsrechnen in Forschung und Lehre.
Der „bwUniCluster“ am Steinbuch Centre for Computing (SCC) des KIT bildet das zentrale HPC-Grundversorgungssystem für die Wissenschaftler in Baden-Württemberg.
Das globale Filesystem (Lustre) wird als skalierbares, paralleles Dateisystem über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des InstitutsClusterII und der hc3, stehen ca. 469 TB an Plattenplatz zur Verfügung. Im WORK-Verzeichnis stehen ca. 224 TB an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.
Der bwUniCluster beinhaltet:
2 Login-Knoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten
512 "dünne" Rechenknoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,
8 "fette" Rechenknoten mit jeweils 32 Cores mit einer theoretische Spitzenleistung von 614,4 GFLOPS und 1 TB Hauptspeicher pro Knoten
Das Verbindungsnetzwerk ist ein InfiniBand 4X FDR Interconnect.
Hier die Kurzbeschreibung der Knoten (Quelle KIT http://www.scc.kit.edu/dienste/9237.php):
2 16-Wege (Login-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 4 TB lokalem Plattenplatz,
512 16-Wege (Rechen-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 2 TB lokalem Plattenplatz,
8 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E5-4640 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,4 GHz, 1 TB Hauptspeicher und 7 TB lokalem Plattenplatz und
10 16-Wege Service-Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz und 64 GB Hauptspeicher.
Ein einzelner Octa-Core Prozessor (Sandy Bridge) hat 20 MB L3-Cache und betreibt den System Bus mit 1600 MHz, wobei jeder einzelne Core des Sandy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.
Das Landeskonzept „bwHPC“, das von der Deutschen Forschungsgemeinschaft (DFG) als innovativ und überregional wegweisend begutachtet und zur Förderung empfohlen wurde, gilt deutschlandweit als vorbildlich. „bwHPC“ umfasst die Förderung des Hoch- und Höchstleistungsrechnens (High Performance Computing, HPC) mit unterschiedlichen Leistungsklassen und Kompetenzzentren auf allen Ebenen: vom Ausbau des Stuttgarter Höchstleistungsrechenzentrums über einen Zugang für breite Nutzerschichten der Landeshochschulen zu den Hochleistungssystemen des KIT bis hin zu speziellen, fachgebundenen Rechen-Clustern an Universitäten und Forschungseinrichtungen des Landes.
Bildquelle: KIT. Jan. 2014 > http://www.scc.kit.edu/dienste/9237.php