Notos
From Centrum Komputerów Dużej Mocy, ICM Uniwersytet Warszawski
| Komputer | |
|---|---|
| |
| Instalacja: | Komputer MPP (Massively Parallel Processing) |
| Model: | IBM Blue Gene/P |
| Nazwa: | notos |
| Typ procesora: | PowerPC 450 |
| Architektura: | ppc |
| Reprezencja danych: | big-endian |
| Częstotliwość taktowania: | 850 MHz |
| Liczba procesorów w węźle: | 4 rdzenie PowerPC |
| Ilość pamięci w węźle: | 4 GB |
| System plików: | GPFS (rozproszony system plików) |
| System operacyjny: | Blue Gene/P Linux |
| System kolejkowy: | LoadLeveler |
| halo2 | nautilus | |
| Wszystkie komputery | |
| Poradnik | |
| Programowanie | |
Contents |
Architektura
System Notos składa się z jednostki obliczeniowej IBM Blue Gene/P wyposażonej w 1024 węzły obliczeniowe.
Konfiguracja węzła obliczeniowego:
- procesor Power PC 450, 32-bit, 850 MHz, 4 rdzenie SMP (Symmetric multiprocessing),
- współdzielona pamięć cache trzeciego poziomu (L3) - 8MB,
- pamięć - 4GB
Procesory rodziny PowerPC są architekturą typu big-endian.
Węzły nie posiadają lokalnego dysku. Wyposażone są w zintegrowany kontroler I/O oraz zintegrowane kontrolery sieciowe.
Węzły klastra połączone są dedykowanym rozwiązaniem sieciowym firmy IBM skonstruowane w oparciu o:
- podstawową sieć komunikacji o topologi 3D Torus,
- sieć przeznaczona do komunikacji grupowej (z ang. collective communication),
- sieć przeznaczona do wykonywania szybkiej synchronizacji (bariery),
- sieć 10Gb Ethernet do komunikacji zewnętrznej (głównie operacje I/O).
Użytkowanie i przeznaczenie
Komputer jest dostępny dla zadań naukowców prowadzących obliczenia w ramach Programu Obliczeń Wielkich Wyzwań Nauki i Techniki (POWIEW) http://wielkiewyzwania.pl. Z komputera Notos mogą również korzystać użytkownicy centrum KDM. Osoby zainteresowane korzystaniem z Notos-a proszone są o przesłanie informacji na adres email: powiew-admins@icm.edu.pl
Komputer Notos udostepniony zostal w ramach Programu Obliczen Wielkich Wyzwan Nauki i Techniki (POWIEW), projektu wspolfinansowanego przez Unie Europejska z Europejskiego Funduszu Rozwoju Regionalnego.
Zasady korzystania
Na system Notos logować mogą się wszystkie osoby posiadające konto w ICM. Korzystanie z kompilatorów i uruchamianie zadań możliwe po wcześniejszym przesłaniu zgłoszenia na adres:
Logowanie na system Notos możliwe je
Logowanie następuje na węzeł dostępowy (tzw. front-end) o nazwie notos. Służy on do:
- przygotowywania programów (programowanie,kompilacja),
- przygotowywania danych wejściowych,
- wstawiania zadań do kolejki LoadLeveler,
- przetwarzania wyników obliczeń.
Na węźle dostępowym nie można uruchamiać żadnych obliczeń. Serwer dostępowy oparty jest o inną architekturę (IBM POWER6), a środowisko programistyczne oparte jest na tzw. cross-kompilatorach.
Węzły obliczeniowe nie posiadają dysków lokalnych. Wszystkie obliczenia należy wykonywać korzystając z katalogu domowego.
System kolejkowy i zadania użytkowników
Zainstalowanym systemem kolejkowym jest LoadLeveler.
Aby przygotować zadanie obliczeniowe, należy stworzyć skrypt (plik) zawierający listę żądanych zasobów oraz sposób uruchomienia programu.
Przykładowe skrypty można znaleźć w katalogu: /opt/examples/loadleveler na węźle dostępowym.
System plików i przechowywanie danych
System korzysta z rozposzonego systemu plików w implementacji GPFS (http://www-03.ibm.com/systems/software/gpfs/).
Jako dysk roboczy należy wykorzystywać katalog domowy (lokalny dla klastra).
Środowisko użytkownika
Węzeł dostępowy obsługuje system operacyjny SUSE Linux Enterprise Server 10.0. Węzły obliczeniowe obsługiwane są przez linuksowe Compute Node Kernels (CMK) dla Blue Gene/P.
Domyślnie nie jest możliwe logowanie na węzły obliczeniowe. Zadania należy przygotowywać w całości na serwerze dostępowym. Do ustawiania środowiska (ścieżki dostępu, biblioteki) służy narzędzie modules. Dokumentacja: man module
Podstawowe komendy:
module avail module list module load <nazwa modułu> module unload <nazwa modułu>
W szczególności ustawienie kompilatorów MPI uzyskuje się po wykonaniu komendy:
module load mpi_gnu
Kompilatory i biblioteki
Na komputerze Notos dostępne są następujące kompilatory:
- IBM XL C/C++ Advanced Edition for Blue Gene/P, V9.0,
- IBM XL Fortran Advanced Edition for Blue Gene/P, XV11.1,
- GCC for Blue Gene/P, V4.1.2.
Dostępna jest biblioteka MPI for Blue Gene/P, (MPI-2.1).
Zainstalowane oprogramowanie
Pakiety naukowe są instalowane w drzewie katalogów /opt:
Amber, CPMD, FFTW, GSL, Hypre, NAMD, Neuron, PETSc i Palabos
Pozostałe pakiety i bilioteki: P3DFFT, HDF5, NetCDF, PNetCDF
Dokumentacja
- Blue Gene/P Application Development Redbook PDF
- Blue Gene/P Performance Analysis Tools Redbook PDF
- LoadLeveler Using and Administering PDF
Szkolenia
Linki
- Superkomputer JUGENE http://www.fz-juelich.de/jsc/service/sco_ibmBGP
Nazwa Notos
Notos - bóg i uosobienie wiatru południowego (mitologia grecka). Uosabiał gorący, wilgotny, niosący deszcze silny wiatr wiejący z południa.
