2008年10月24日

【お詫び】自宅サーバが何度か長時間ダウン - 自前の状態監視体制を強化　

今週に入って「デジモノに埋もれる日々」「メガとんトラック」「あまとも」
「コミックダッシュ！」などを運営している CKWorks の自宅サーバが、
　
　何度か応答不能な状態に陥りました。
　
これらのサービスをご利用の方々にはご迷惑をお掛けいたしまして
誠に申し訳ございません。m(_ _)m
　

　
1回あたり30分くらい の長時間のダウンが3～4回発生していることを確認
しています。私がサーバのそばに居れば良いのですが、そうもいかない
ときは「自然復旧」を待つしかないという状況になっていました。
　
これではマズイということで、最近はログを克明に取り始めています。
いろいろ調べてみると、どうやら Lingrtext のプロセスが稀に暴走して
サーバを応答不能にまでしてしまうということが判ってきました。
　
ひとまずはその兆候が現れたらすぐに アラートメール が飛ぶようにして
手遅れにならないうちに応急処置ができるような体制を作っています。
　

　
ということで、最近はこんなメールと毎日格闘していることになります。
このアラートメールも、最初は負荷を受けているサーバ自身で飛ばそうと
していたのですが、実際にこの仕組みを仕込んでみたら、
　
　一瞬で高負荷⇒ダウンに陥って、メール送信プロセスも動けない
　
というお間抜けな状態になることがわかり、結局その横にある
ファイルサーバマシンのほうから状態チェックをして
アラートメールを出すという仰々しい仕組みを作ることになりました。
　
多くの方々に快適に使っていただくということを考えると、
サーバ運営・サービス運営 というのは本当に大変です・・・。