Projektbeschreibung bwGRiD
Das bwGRiD ist eine dezentrale Ansammlung von Rechenknoten, die von neun Hochschulen des Landes Baden-Württemberg betrieben werden. Neben der Nutzung der lokalen Cluster an den einzelnen Standorten steht vor allem die transparente Zusammenfassung der Recheneinheiten zu einem Grid im Vordergrund.
Ziele des Projekts
Das bwGRiD ist eine dezentrale Ansammlung von Rechenknoten, die von neun Hochschulen des Landes Baden-Württemberg betrieben werden. Neben der Nutzung der lokalen Cluster an den einzelnen Standorten steht vor allem die transparente Zusammenfassung der Recheneinheiten zu einem Grid im Vordergrund.
Durch die Einrichtung des bwGRiDs soll die Funktionalität und der Nutzen von Grid-Konzepten nachgewiesen, bisherige Organisations- und Sicherheitsprobleme überwunden, neue Cluster-Anwendungen entwickelt, die Lizenzproblematik gelöst sowie eine Spezialisierung der einzelnen Rechenzentren ermöglicht werden. Durch den Ausbau des Landeshochschulnetzes BELWUE auf eine Übertragungsleistung von 10Gbit/s ist ein Grundstein für die erfolgreiche Zusammenarbeit der Rechenzentren gelegt worden. Das Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (MWK) unterstützt den Aufbau des bwGRiDs zusätzlich mit Personalmitteln.
Die Rechen-Cluster werden im Rahmen der D-Grid-Initiative zu einem bwGRiD-Verbund gekoppelt. In das zunächst homogene Cluster sollen durch die Einbindung weiterer, an den Hochschulen vorhandenen, Systeme die Probleme der Übertragbarkeit von Anwendungen aufgezeigt und unter Mithilfe der Lieferanten gelöst werden. Die Größe der einzelnen Cluster muss für die Berechnung und Lösung realer Probleme aus Wissenschaft und Wirtschaft tauglich sein. In Abstimmung mit den teilnehmenden Hochschulen übernahm das KIT in Karlsruhe die Projektkoordinaion.
bwGRiD Freiburg
Das bwGRiD-Freiburg besteht aus einem x86-Cluster mit 140 Knoten, die im Rahmen der D-Grid-Sonderinvestitionen 2007 gemeinsam für alle Standorte des bwGRiDs durch das HLRS beschafft wurden. Diese Ressourcen stehen allen virtuellen Organisationen (VO) im D-Grid zur Verfügung.
Die Rechenknoten sind IBM-Bladeserver des Typs HS21 XM und besitzen jeweils zwei Intel Xeon E5440 mit einer Taktfrequenz von 2,83GHz, 12MByte Cache mit einer Busgeschwindigkeit von 1333MHz. Die Hauptspeichergröße beträgt 16GByte je Knoten (2GByte pro Prozessorkern). Als temporärer Speicher dienen SAS-Festplatten mit einer maximalen Übertragungsgeschwindigkeit von 3Gbit/s und 146GByte brutto Speicherplatz (120GByte netto).
Zusätzlich wurden 16 Knoten des Typs SuperMicro 2U Twin² mit je zwei Intel Xeon X5550 2,67GHz CPUs eingebunden. Des weiteren sind 8 Knoten des Typs Dell PowerEdge M610x mit je zwei Intel Xeon X5650 mit 2,66GHz angeschafft und eingebunden worden. Der Hauptspeicher beträgt jeweils 24GByte je Knoten (3GByte pro Prozessorkern). Der Temporärspeicher beträgt 250GByte brutto, bzw. 210GByte netto (SATA, max. Schreib-/Leserate 3Gbit/s).
Die Frontend-Systeme bestehen aus 2 IBM-Servern x3650 mit je zwei Intel Xeon E5440 mit einer Taktfrequenz von 2,83GHz und 16GByte Hauptspeicher.
Alle Rechenknoten verfügen über eine InfiniBand Anbindung (DDR, 20Gbit/s full duplex) und sind über den Voltaire-Switch des Typs Grid Director ISR 2012 mit 168 Ports angebunden.
Ein verteilter Netzwerkspeicher für Rechenjobs wird auf einem HP SFS Speichersystem bereitgestellt (LustreFS). Es steht auf allen Knoten und dem Login-Knoten als Lustre-Filesystem zur Verfügung. Die Netto-Speicherplatzgröße beträgt 32TByte. In Karlsruhe sind zudem 128TByte mit Backup und 256TByte ohne Backup nutzbar.
Speicherintensive Berechnungen können auf 2 HP-Servern des Typs ProLiant DL785 G5 durchgeführt werden. Der erste Knoten besitzt vier AMD Opteron 8360 SE 2,44GHz Prozessoren mit je 4 Kernen und 512GByte Hauptspeicher. Der Zweite besitzt vier AMD Opteron 8384 2,64GHz Prozessoren mit je 4 Kernen und 256GByte Hauptspeicher.
Der Moab Workload Manager dient als Richtlinien-basierter Job-Scheduler und TORQUE als Ressourcen-Manager auf einem der Frontend-Server. Als Betriebssystem wird Scientific Linux 5.5 eingesetzt. Ein vielseitiges Software-Angebot aus verschiedenen Gebieten wie Gromacs, Amber, R, aber auch lizenzpflichtige Software wie Mathematica, Schrödinger, Gaussian wird am bwGRiD Freiburg angeboten.
Der Zugriff auf das System ist über den Login-Knoten, oder über das Globus Toolkit 4.0.8 möglich. Der Server-Name ist globus.bfg.uni-freiburg.de.
GPU-Computing
Für GPU-Computing stehen zwei Nvidia Tesla S1070 zur Verfügung. Diese besitzen je vier GT200 Grafikkarten, die jeweils wiederum mit 240 Kernen bestückt sind. Damit stehen insgesamt 1920 GPU-Kerne, die zur parallelen Berechnung genutzt werden können. Je zwei Karten sind an einen Knoten angebunden, so dass vier GPU-Knoten existieren, die wiederum 480 Kerne pro Knoten nutzen können. Dies entspricht einer Rechenleistung von 1866GFLOPS, bzw 180GFLOPS bei Double Precision.
Neben dem Nvidia CUDA Toolkit 3.20 steht jeweils eine GPU-Version der Programme Gromacs und Amber zur Verfügung. Doch weitere sollen bald folgen.
Zusammenfassung
| bwGRiD Summe | bwGRiD Freiburg | |
| # Knoten | ~1680 | 164 + 4 GPU |
| CPU-Kerne | ~13450 | 1320 |
| Hauptspeicher | ~28 TByte | ~3,5 TByte |
| Lokaler Festplattenspeicher | ~120 TByte | ~28,5 TByte |
| LustreFS Speicher | 704 TByte | 32 TByte |
Förderzeitraum
Laufzeit: 1. Januar 2008 - 31. Dezember 2012
Förderer
Bundesministerium für Bildung und Forschung (BMBF)
Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (MWK)
Ansprechpartner
Projektpartner
- www.bw-grid.de
- Hochschule Esslingen
- Universität Heidelberg
- Karlsruher Institut für Technologie (KIT)
- Universität Konstanz
- Universität Mannheim
- Höchstleistungsrechenzentrum (HLRS) / Universität Stuttgart