ジョブスケジューラによる分散計算

共用計算機を利用して大量の計算を分散計算する方法や考えかた、マナーなどを述べる。ここではSun Grid Engine系のスケジューラを想定している。

プライオリティの考えかた

以下のコマンドで計算ノードにログインする。この場合は、ちゃんとスケジューリングされる。

qlogin -q [キュー名]

qsub -q [キュー名] -p [プライオリティ] -l [メモリ量] [シェルスクリプト名]

プライオリティは-1023から1024であり小さいほうがプライオリティが低い。0がデフォルト。 rootでない限りプラオリティが下げることしかできない。

メモリ量は -l h_vmem=24G とすれば24GBを確保できる。

qstat -u [ユーザ名] # ユーザのキューのみを確認
qstat -u "*"       # 全員のキューを確認

qdel -u [ユーザ名]  # ユーザのジョブをすべて停止させる
qdel [ジョブID]     # 指定したジョブIDだけ停止させる

qacct -j [ジョブID]

メモリやCPUの使用状況を確認できる。

アレイジョブについて記述する。

確保するCPUコア数 = スロット数を指定してジョブを投入する。

投入するシェルスクリプトに以下の行を入れる。

#$ -l nc=[slot数]

実行するプログラムで指定するコア数と同じ数字を[スロット数]に入れる。

最近多くのプログラムがマルチコアで動作する。なるべくそのようなプログラムを利用する。スロットを細かくしすぎると、他の複数スロットを利用するマルチコアジョブが、入りにくくなるので、なるべく避ける。

例えば8 cores CPUが2つあるノードは16スロット使える。ある人が1スロットのジョブを大量に投げてしまうと、1ジョブが終了しても、すぐまた1スロットのジョブが入ってしまう。これだと、ほかの8コアや16コアの人がいつまで入っていかない。

qconf -sql

qconf -ss

qconf -as [ノード名]

LinuxにはOMM killerという機能があり、メモリを使いすぎてOSに影響が出てしまうプロセスを kill する。OMM killer がkillしそうなプロセスが以下で見れる。

dstat --top-oom

このスコアは、/proc/[PID]/oom_score 以下に入っている

/proc/[PID]/oom_adj には優先順位を入力できる。-16から+15の値で小さいと優先順位は低い。

OMM Killer でプロセスが kill されたかどうかは、syslog を確認する。

sudo grep Killed /var/log/messages

IOを減らすために、なるべくファイルに書き出さずに、パイプを利用する。
圧縮ファイルを解凍してから実行すると、その分ストレージが必要になる。解凍した結果をパイプで受けとりながら計算することで、IOアクセスやストレージ量を削減できる。
ほとんどの場合 fastq が gzip や bz2 のまま、最後まで計算が可能。

結果一時ファイルに出力し、最後にリネームする。ファイル名をみて最後までジョブが実行されたか判断しやすくなる。

観光バス方式でジョブ名をつける。通し番号をつけるときは降順にする。投入したジョブがいくつまで終わったかがわかりやすい。
DNA配列解析プログラムでは、メモリ使用量を推定することが難しい場合が多い。大量のジョブを投入する前に、試しに実行してみるのもよい。
どうしても大量のジョブや、長期のジョブを流したいときは、ユーザのメーリングリストやチャットなどで相談する。ジョブスケジューラは技術的にリソースを管理できるが、研究の優先順位や締切などソーシャルなリソース管理を行うことができないため、ソーシャルな解決が時には必要であることに注意すること。

2016/04/19