投稿者: yasu

というわけで、OpenPBS/torque + maui を導入したのだが、計算ノードのどれかが reboot したりすると、走っているジョブが全部 restart する、という困った状態で悩んでいた。
で、結論からいうと、diskless (NFSroot) で /var まで共有してたのが悪かった。/var を共有するなんて、かなり恐ろしいことなのだけれど、いままでなんとなく動いてたのでそのままにしてたわけだが、やっぱりダメでした。はい。
ほんとは正式な対応方法があるんだろうけれど、pbs_mom を起動する前に個別の /var を NFS で mount するようにして、とりあえずちゃんと動くようになりました。めでたし。
いやー、ちゃんと動くとこれ、ほんと便利です。

/var/spool/torque/spool は、torque を使うユーザが read/write できないといけない。
じゃないと、ジョブが終了したときに stdout/stderr を保存したファイルをコピーできなくて、job status が E になります。

GNU の sed が必要。ports の japanese/sed でいいや… (あほですな)
./configure –prefix=/usr/local –with-pbs=/usr/local –with-spooldir=/var/spool/maui
vi Makefile:
– OPSYS と OS を FREEBSD に
– PBSLIB を `pbs-config –libs` に
– PBSDEF に -D__FREEBSD を追加
デフォルトのスケジューラは使っちゃいけないらしい。
こっちにしたら超快適。いえーい。

朝3時くらいまで OpenPBS/torque をいじってた。
計算ノードで pbs_mom を起動すると SSH で入れなくなっちゃうよー。
rup とかにも反応しないから、ネットワーク関係が全体的に駄目になってる感じ。
しかし、NFS は動いてるみたいで、ちゃんと log のファイルなんかは吐いている。
謎。
うむむむむむむむむ。
とりあえず機器室いって reboot してくるかー。
で、原因がわかったのだが、つまり、NFS の lock が、FreeBSD 6.1 では壊れちゃってるようで、rpc.lockd を使わないようにしたらちゃんと動くようになった。しかし、これだと pbs_mom がロックファイルを flock() しようとして失敗するので、そこをコメントアウトしてコンパイルする必要がある。