Halo2
From Centrum Komputerów Dużej Mocy, ICM Uniwersytet Warszawski
| Komputer | |
|---|---|
| |
| Instalacja: | Sun Constellation System (klaster serwerów kasetowych) |
| Model: | Sun Blade 6048 |
| Nazwa: | halo2 |
| Typ procesora: | AMD Quad-Core Opteron 835X |
| Architektura: | x86_64 |
| Reprezencja danych: | little-endian |
| Częstotliwość taktowania: | 2.0 / 2.2 / 2.3 GHz |
| Liczba procesorów w węźle: | 4 x 4 rdzenie Opteron |
| Ilość pamięci w węźle: | 16 / 32 GB |
| System plików: | Lustre (rozproszony system plików) |
| System operacyjny: | Gentoo 2.6 |
| System kolejkowy: | Torque |
| halo2 | nautilus | |
| Wszystkie komputery | |
| Poradnik | |
| Programowanie | |
Contents |
Architektura
System składa się z węzłów - fizycznie oddzielonych serwerów kasetowych upakowanych w specjalnych szafach. Każdy węzeł wyposażony jest w 4 procesory 4-rdzeniowe typu AMD Opteron (architektura x86_64, nazwa kodowa Barcelona), razem 16 fizycznych jednostek obliczeniowych.
Procesory rodziny Opteron są architekturą typu little-endian. Jeden węzeł posiada 16 lub 32 Gb pamięci operacyjnej, maksymalnie dostępnej dla jednego procesu użytkownika. Jest to architektura typu ccNUMA (cache coherent Non-Uniform Memory Access), w której poszczególne rdzenie w procesorze współdzielą pamięć podręczną (trzeciego poziomu - L3), natomiast procesory w obrębie węzła mają spójną pamięć podręczną oraz niejednorodny czas dostępu do pamięci głównej.
Serwery (węzły) nie posiadają lokalnego dysku.
Węzły klastra połączone są siecią typu Infiniband o wysokiej wydajności. Rozwiązanie to charakteryzuję się między innymi niskimi opóźnieniami oraz mechanizmem tzw. rDMA (remote Direct Memory Access) pozwalającym na bezpośredni dostęp do pamięci innego wezła. Połączenia Infiniband wykorzystywane będą zarówno do operacji wejscia/wyjścia, ze względu na brak dysków lokalnych, jak i do wymiany danych pomiędzy procesorami klastra.
Użytkowanie i przeznaczenie
Komputer jest dostępny dla zadań użytkowników, zadań meteo (numerycznych modeli prognostycznych) oraz dla innych projektów specjalnych.
Zasady korzystania
Logowanie następuje na węzeł dostępowy (tzw. front-end) o nazwie halo2.
Służy on jedynie do przygotowania programów i przetwarzania danych związanych z obliczeniami.
Na węźle dostępowym nie należy uruchamiać żadnych obliczeń, zadania użytkowników uruchamiane
są za pomocą systemu kolejkowego na wezłach obliczeniowych o nazwach nXXX.
Uwaga: architektura węzła dostępowego (amd k8) i węzłów obliczeniowych (amd k10) różnią się; należy o tym pamiętać przy samodzielnej kompilacji programów.
Węzły obliczeniowe nie posiadają dysków lokalnych. Wszystkie obliczenia należy wykonywać korzystając z katalogu domowego.
System kolejkowy i zadania użytkowników
Zainstalowanym systemem kolejkowym jest Torque (tzn. OpenPBS z poprawkami).
Aby przygotować zadanie obliczeniowe, należy stworzyć skrypt (plik) zawierający listę żądanych zasobów oraz sposób uruchomienia programu.
System plików i przechowywanie danych
System korzysta z rozposzonego systemu plików w implementacji Lustre (http://www.lustre.org).
Ze względu na brak dysków roboczych w wezłach należy, o ile to możliwe, unikać intensywnego korzystania z systemu plików w trakcie obliczeń.
Jako dysk roboczy można wykorzystywać katalog domowy (lokalny dla klastra) oraz do składowania macierzy dyskowej /workspace,
dostępnej tylko z wezła dostępowego.
Limity
Limit dostępnej przestrzeni dyskowej (liczba i wielkość plików) dla użytkownika (tzw. quota) można sprawdzić komendą:
lfs quota /home
Domyślnie użytkownik dysponuje limitem około 100 gb.
Użytkownik ma przydzieloną ograniczoną liczbę zadań mogących wykonywać się jednocześnie; pozostałe zadania użytkownika w systemie pozostają w stanie oczekiwania.
Podczas uruchamiania zadań należy pamietać, że ilość dostępnej dla programu użytkownika pamięci operacyjnej w weźle, jest nieco mniejsza niż całkowita fizyczna pamięć.
W razie konieczności zwiększenia limitów, prosimy o kontakt: hpc-admins@icm.edu.pl.
Środowisko użytkownika
Klaster obsługuje system operacyjny Gentoo Linux.
Do ustawiania środowiska (ścieżki dostępu, biblioteki) służy narzędzie modules. Dokumentacja: man module
Podstawowe komendy:
module avail module list module load <nazwa modułu> module unload <nazwa modułu>
Programowanie
Zainstalowane oprogramowanie
Pakiety naukowe są instalowane w drzewie katalogów /opt:
ABINIT, Accelrys, Amber, Charmm, FFTW, FLUENT, GSL, Gamess, GotoBLAS, Maple, Mathematica, NAMD, Nastran/Patran, Neuron, ParaView, ProtoMol, Quantum Espresso, R, Rosetta, Schroedinger, Siesta, Tripos, Turbomole i VASP
Dokumentacja
Szkolenia
Słowniczek
(w języku angielskim)
