Monitorowanie zadań

Sesje interaktywne

W trakcie trwania sesji interaktywnej polecamy użycie multipleksera terminala (patrz poradnik SSH) do uruchomienia narzędzi monitorujących takich jak top, htop czy nvtop.

Zadania wsadowe

Podstawowym źródłem informacji zwrotnej w zadaniach wsadowych są pliki wynikowe. Można je otworzyć za pomocą polecenia less i uruchomić tryb aktualizacji zawartości za pomocą .

W sekcji Slurm opisano komendę sstat przydatną w uzyskaniu informacji o trwających zadaniach.

Wykonywanie poleceń

W kontekście trwającego zadania wsadowego można uruchomić inne polecenie za pomocą srun z parametrem --overlap, na przykład:

srun --overlap --jobid 361 nvidia-smi
Adnotacja

Programy uruchomione w ten sposób działają nadal w kontekście zadania i podlegają jego ograniczeniom.

Interakcja

Możliwe jest także utworzenie interaktywnego kanału do zadania wsadowego zawierającego na przykład sesję Basha:

srun --pty --overlap --jobid 361 bash
Zagrożenie

Metoda ta używa wewnętrznego transportu systemu Slurm do emulacji terminala. Środowisko to różni się od SSH i mogą zaistnieć problemy z niektórymi programami.

Dodatkowo otwarcie takiego kanału w czasie gdy główne zadanie ukończy pracę nie przedłuży czasu dostępności rezerwacji - wszystkie procesy zadania zostaną zabite.

Ostrzeżenie

Zabronione jest omijanie limitów sesji interaktywnych w ten sposób. Należy wykorzystywać tę metodę jedynie jako narzędzie diagnostyczne.