Halo
From Centrum Komputerów Dużej Mocy, ICM Uniwersytet Warszawski
| Uwaga: Eksploatacja klastra halo została zakończona 31.10.2010 |
| Komputer | |
|---|---|
| |
| Model: | IBM eServer 325 (× 98) Sun v40z (× 12) |
| Nazwa: | halo |
| Typ procesora: | AMD Opteron 246 AMD Opteron 875 |
| Częstotliwość taktowania: | 2.0 GHz / 2.2 GHz |
| Liczba procesorów: | 98 × 2 + 12 × 8 = 292 |
| Pamięć operacyjna: | 98 × 2 GB 12 × 16 GB |
| Pamięć dyskowa: | 98 × 120 GB 12 × 112 GB |
| System operacyjny: | Gentoo Linux 2.6 |
| System kolejkowy: | Torque |
| tornado | halo | |
| Wszystkie komputery | |
| Poradnik | |
| Programowanie | |
Contents |
Architektura
System składa sie z 98 węzłów IBM e325
(każdy węzeł IBM zawiera 2 procesory Opteron 246 (2GHz), 2Gb RAM + 2Gb swap, dysk IDE 120GB z czego dostępne jest 73GB w katalogu /tmp1 na każdym węźle)
oraz 12 węzłów Sun v40z (każdy węzeł Sun zawiera 4 procesory Opteron dual-core (2.2GHz), 16GB RAM, 112GB macierzy dyskowej SCSI).
Węzły IBM mają dwie gigabitowe karty ethernetowe i widoczne są pod nazwami n1-n98 (sieć służąca do bieżącej pracy, komunikacji itp.)
oraz a1-a98 (wyłącznie wymiana danych między procesami zadań).
Na klastrze halo do obliczeń wymagających współdzielenia danych można wykorzystywać katalogi domowe.
Katalogi /tmp1 i /tmp2 są dostępne jedynie lokalnie.
Wszystkie serwery w ramach klastra pracują pod kontrolą systemu operacyjnego GNU/Linux 2.6. Wersja jądra jest w miarę możliwości uaktualniana do najnowszej stabilnej.
Użytkowanie
Kolejki
Zainstalowanym systemem kolejkowym jest Torque (tzn. OpenPBS z poprawkami).
Przykładowe skrypty można znaleźć w katalogu /opt/examples/pbs na halo,
z tego też serwera należy wstawiać zadania.
Każda komenda ma stronę manuala, szczególnie polecamy man qsub (wstawianie zadań) oraz man pbs_resources
(opis zasobów, które można wyspecyfikować).
Oprogramowanie
Ogólnodostępne oprogramowanie instalowane jest w katalogu /opt.
Ze względu na jego ciągły rozrost w miarę zgłaszanych potrzeb,
najprostszym sposobem zorientowania się w zawartości jest ls /opt.
W przypadku chęci wykorzystywania nieobecnej aplikacji przeważnie możliwe jest jej dogranie,
prosimy zgłaszać takie potrzeby na adres pomoc@icm.edu.pl.
Zasady korzystania
Na halo, ze względu na brak współdzielenia filesystemów /tmpX,
dopuszczone, lecz jednak niezalecane, jest uruchamianie zadań z katalogu domowego.
Ze względu jednak na stosunkowo wolny dostęp do zdalnego filesystemu w stosunku do dysku lokalnego,
należy w miarę możliwości prowadzić obliczenia na lokalnym /tmp1.
Dodatkowo oczywiście obowiązuje regulamin użytkownika.
Wszelkie informacje o zmianach oraz przerwach w działaniu serwerów umieszczane są w pliku wyświetlanym przy każdorazowym logowaniu.
Automatyczne porządki
Problemy z zajętością filesystemów /tmp1 i /tmp2 na halo i na węzłach
doprowadziły do wdrożenia automatycznego kasowania plików.
Na serwerze halo pliki znajdujące się na tych filesystemach są kasowane, jeśli ostatni dostęp do nich miał miejsce więcej niż 14 dni temu.
Na węzłach, pliki w /tmp1 są kasowane 3 dni po terminie ostatniego do nich dostępu,
przy czym zakończenie zadania użytkownika na węźle (bez względu na przyczynę)
powoduje ustawienie czasu dostępu wszystkich plików danego użytkownika na /tmp1 pierwszego węzła przydzielonego do zadania na czas zakończenia zadania.
Trzydniowy limit istnieje wyłącznie w celu zachowania wyników zadań kończących się awaryjnie
- zadania kończące się normalnie powinny po sobie posprzątać.
Dodatkowo wszystkie procesy użytkowników liczące się na węzłach, na których nie powinno ich być (tj. system kolejkowy nic o nich nie wie) zostaną automatycznie zabite po przekroczeniu 15 minut czasu CPU.
Programowanie
Kompilatory
Zainstalowane są kompilatory GNU (gcc, g77, g++)
oraz PGI (pgcc, pgCC, pgf77, pgf90)
uaktualniane podczas upgrade'ów systemowych.
Bieżącą wersję kompilatorów GNU można sprawdzić komendą gcc -v, a PGI pgcc -v.
W razie potrzeby wyboru innej wersji kompilatora PGI można dokonać
modyfikując scieżkę obecną w PATH (/opt/pgi/linux86-64/bieżąca_wersja/bin)
tak, by bieżąca_wersja pokrywała się z wybraną.
Listing dostępnych wersji: ls /opt/pgi/linux86-64.
Kompilatory PGI działają wyłącznie na halo, GNU na halo i węzłach, jednak kompilacje należy wykonywać na halo.
Zainstalowane oprogramowanie
ACML, ANSYS, ATLAS, AVS/Express, Abaqus, BLAS, BLAST, CLUSTALW, Dalton, FreeFEM, Gaussian, LAPACK, MATLAB, Marc/Mentat, Modeller i NAG
Dokumentacja
Większość komend ma odpowiednie strony manuala: man nazwa_komendy.
Szkolenia
Category: Komputer
