Katalogi tymczasowe
From Centrum Komputerów Dużej Mocy, ICM Uniwersytet Warszawski
| Poradnik |
|---|
| Konto użytkownika • Poczta elektroniczna • Korzystanie z SSH • Systemy kolejkowe: PBS (Klaster halo2), LoadLeveler (BlueGene/P notos) |
| Programowanie |
| Kompilatory: C/C++, Fortran • Programowanie równoległe: OpenMP, MPI, UPC, CAF, SHMEM, pthreads • Biblioteki numeryczne: BLAS, LAPACK, FFTW |
| Optymalizacja |
| Uruchamianie i optymalizacja kodów na architekturze Blue Gene/P • Uruchamianie i optymalizacja kodów na halo2 |
| Krok po kroku |
| Logowanie do ICM (Windows) • Logowanie do ICM (UNIX) • MPI (Klaster halo2) • MPI (BlueGene/P notos) |
| Wszystkie "Krok po kroku" |
| Dokumentacja |
Contents |
Informacje podstawowe
Gdzie tworzyć pliki tymczasowe
Ze względu na wydajność, pliki tymczasowe - pośrednie wyniki obliczeń - powinny być tworzone na lokalnych systemach plików. W tym celu na wszystkich maszynach obliczeniowych, a także na niektórych innych serwerach w sieci ICM, znajduje się katalog /tmp1, a opcjonalnie także /tmp2, /tmp3, /tmp4. Zaleca się, aby pliki tymczasowe umieszczać w wyżej wymienionych katalogach. Uwaga: proszę nie wykorzystywać w tym celu katalogu /tmp - jest on używany przez system operacyjny.
Mechanizm czyszczenia systemu plików
Ze względu na tendencję do przepełniania się systemów plików zawierających dane generowane przez zadania użytkowników wprowadzono mechanizm ich automatycznego czyszczenia. Jest ono realizowane co noc za pomocą automatycznych skryptów usuwających pliki, w stosunku do których ostatnia operacja dostępu miała miejsce więcej niz 2 tygodnie temu. Oznacza to, że pliki całkowicie przez taki okres czasu nieużywane (tzn. brak w tym okresie odcztu, zapis, zmiany uprawnień itp.) zostaną automatycznie usunięte. Pliki aktualnie używane przez dzialające zadania przy każdym do nich odwołaniu mają uaktualniany access time, więc skasowanie im nie grozi.
Które katalogi są automatycznie czyszczone
Automatycznie czyszczone są wszystkie katalogi o nazwach rozpoczynających się od /tmp (czyli: /tmp, /tmp1, /tmp2, itp.) na wszystkich komputerach w sieci ICM.
W awaryjnych sytuacjach czyszczony jest także katalog /cpes na tornado.
Szczegóły techniczne automatycznego kasowania plików
Pojęcie timestampu
Każdy plik w środowisku systemów unixowych ma przypisane do siebie między innymi dwie wartości czasowe - czas wystąpienia ostatniej modyfikacji pliku (mtime - modification time) oraz ostatniej operacji dostępu do pliku (atime - access time - każda operacja poza odczytaniem nagłówka pliku). W szczególności każda operacja zapisu jest operacją dostępu, więc zmiana mtime pociąga za sobą zmianę atime.
Sprawdzanie czasów ostatniej modyfikacji i dostępu
Czasy ostatniej modyfikacji oraz dostępu można sprawdzić nastepującymi poleceniami:
ls -l -c filename (modification time) ls -l -u filename (access time)
np. ponizszy plik był modyfikowany 28 dni przed ostatnim do niego dostępem
> ls -l -c x -rwxr-xr-x 1 mar icm-staff 25076 Oct 1 13:27 x > ls -l -u x -rwxr-xr-x 1 mar icm-staff 25076 Oct 29 17:43 x
Ręczna aktualizacja czasu ostatniego dostępu
W przypadku konieczności przechowania plików dłużej niz wyznaczone 2 tygodnie konieczne jest uaktualnianie na nich access time. Do tego celu służy polecenie touch filename, które uaktualnia obydwa znaczniki czasu do momentu, w którym polecenie zostało wykonane. Możliwe jest też uaktualnienie samego access time (opcja -a) lub modification time (opcja -m) oraz podanie daty, która ma być ustawiona zamiast momentu bieżącego (opcja -t). W największym skrócie oznacza to, ze wykonywanie na pliku operacji touch filename w odstępach krótszych niż 2 tygodnie zabezpiecza plik przed usunięciem.
Przykładowo poniżej przedstawiono sekwencję zmian atime:
> date Thu Nov 14 17:38:21 CET 2002 > ls -l -u x -rwxr-xr-x 1 mar icm-staff 25076 Oct 1 13:27 x > touch -a x > ls -l -u x -rwxr-xr-x 1 mar icm-staff 25076 Nov 14 17:38 x > touch -a -t 200201010000 x > ls -l -u x -rwxr-xr-x 1 mar icm-staff 25076 Jan 1 2002 x
