Krok po kroku: Poruszanie się w sieci ICM
From Centrum Komputerów Dużej Mocy, ICM Uniwersytet Warszawski
| Poradnik |
|---|
| Konto użytkownika • Poczta elektroniczna • Korzystanie z SSH • Systemy kolejkowe: PBS (Klaster halo2), LoadLeveler (BlueGene/P notos) |
| Programowanie |
| Kompilatory: C/C++, Fortran • Programowanie równoległe: OpenMP, MPI, UPC, CAF, SHMEM, pthreads • Biblioteki numeryczne: BLAS, LAPACK, FFTW |
| Optymalizacja |
| Uruchamianie i optymalizacja kodów na architekturze Blue Gene/P • Uruchamianie i optymalizacja kodów na halo2 |
| Krok po kroku |
| Logowanie do ICM (Windows) • Logowanie do ICM (UNIX) • MPI (Klaster halo2) • MPI (BlueGene/P notos) |
| Wszystkie "Krok po kroku" |
| Dokumentacja |
Contents |
Zadanie
Po zalogowaniu się do ICM znajdujemy się na komputerze delta. Chcemy przetrenować kopiowanie plików wejściowych na maszynę obliczeniową: przygotować pliki na komputerze burza i skopiować je na klaster halo. Chcemy także przetrenować odbiór plików wynikowych: wyniki obliczeń wykonane na tornado skopiować na komputer delta.
Rozwiązanie krok po kroku: kopiowanie plików wejściowych
1. W naszym przykładzie udajemy tworzenie plików wejściowych. Załóżmy, że początkowo znajdujemy się na komputerze delta. Logujemy się na komputer burza i w katalogu domowym tworzymy plik, który będziemy chcieli skopiować:
ssh -Y burza echo "To tylko test" > moje_zadanie.input
2a. Będąc na komputerze burza kopiujemy plik na klaster halo przy pomocy polecenia scp, a następnie logujemy się na halo:
scp moje_zadanie.input halo:. ssh -Y halo
2b. Alternatywnie: najpierw logujemy się halo, a następnie kopiujemy plik z komputera burza:
ssh -Y halo scp burza:moje_zadanie.input .
3. Wylogowujemy się z halo, co przeniesie nas na burzę
(bo tam wykonaliśmy polecenie ssh -Y halo, które wykonywało się przez cały okres pobytu na halo):
logout
4. Wylogowujemy się z burzy, co przenosi nas z powrotem na deltę:
logout
5. Jeśli na deltę zalogowani byliśmy z zewnątrz, to po następnym poleceniu logout opuścimy sieć ICM:
logout
Rozwiązanie krok po kroku: kopiowanie plików wynikowych
1. Zakładamy, że początkowo znajdujemy się na komputerze delta. Logujemy się na tornado. Udajemy, że przeprowadziliśmy obliczenia: tworzymy katalog, w którym umieszczamy plik, który będziemy chcieli skopiować.
ssh -Y tornado mkdir -p /tmp1/$USER/kpk cd /tmp1/$USER/kpk echo "Wyniki obliczen" > wyniki.output
2. Wylogowujemy się z tornado, powinniśmy wrócić na komputer delta.
Do sprawdzenia nazwy komputera, na którym się znajdujemy służy polecenie hostname:
logout hostname
3. Wyniki obliczeń bywają duże, dlatego powinny być trzymane w katalogach /tmp1, /tmp2, itd.
Załóżmy więc (na delcie) taki katalog:
mkdir -p /tmp1/$USER/transfer cd /tmp1/$USER/transfer
4. Kopiujemy pliki z katalogu tymczasowego na tornado:
scp tornado:/tmp1/$USER/kpk/wyniki.output .
5. Możemy teraz skopiować plik wyniki.output poza sieć ICM.
Potencjalne problemy
Łącząc się z halo lub tornado wpisuję prawidłowe hasło, lecz mimo to system go nie przyjmuje.
Na komputery obliczeniowe, takie jak: halo, tornado, tajfun, nie ma domyślnie dostępu. Aby uzyskać możliwość korzystania z którejś z tych maszyn, proszę wysłać mail pod adres: hpc-admins@icm.edu.pl.
Łącząc się z komputerem wewnątrz sieci ICM dostaję komunikat w rodzaju:
The authenticity of host 'archive (192.168.1.145)' can't be established. DSA key fingerprint is 56:65:09:a5:aa:cc:fc:19:d4:b5:66:8f:a2:c8:b0:11. Are you sure you want to continue connecting (yes/no)?
Oznacza to, że z danym komputerem łączą się Państwo po raz pierwszy.
Proszę odpowiedzieć: yes i nacisnąć Enter.
Łącząc się z komputerem wewnątrz sieci ICM dostaję komunikat w rodzaju:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that the RSA host key has just been changed. The fingerprint for the RSA key sent by the remote host is 55:27:45:b4:fe:81:59:82:8c:3e:15:10:67:2b:f8:ab. Please contact your system administrator. Add correct host key in /home/staff/bolo/.ssh/known_hosts to get rid of this message. Offending key in /home/staff/bolo/.ssh/known_hosts:113 Password authentication is disabled to avoid man-in-the-middle attacks. Keyboard-interactive authentication is disabled to avoid man-in-the-middle attacks. Agent forwarding is disabled to avoid man-in-the-middle attacks. X11 forwarding is disabled to avoid man-in-the-middle attacks.
W przypadku połączeń wewnątrz ICM (np. z delta na halo) zagrożenia nie ma. Komunikat oznacza po prostu, że komputer, na który próbują się Państwo połączyć był reinstalowany od czasu ostatniego zalogowania. Należy wyczyścić pamięć programu SSH, usuwając wpisy o znanych mu komputerach. W tym celu proszę wydać polecenie:
rm -f ~/.ssh/known_hosts
Bardziej finezyjne rozwiązanie polega na usunięciu z pliku known_hosts jedynie
wiersza, który nie podoba się SSH, w powyższym przykładzie jest to wiersz 113.
