2006年04月08日

突然Webアクセスが不能になった原因は、HDDではなくて・・・squid ?!　

■2006/03/21 [交換用のHDDが届いたものの・・・故障したHDDが意外と粘る]
　
3/16にRAIDのHDDに異常が起こり、3/21に替えのHDDを準備したものの、
結局交換することもなくそのまま動かしていたのですが、
それがまさか最初の異常から
　
　3週間以上も経った今日も元気に動いている
　
などということは、あのときは想像も付きませんでした。こうなると
「いちど波に乗るとその後は故障しにくい」というコンピュータ機器の
特性もありますし、意外にこのまま数ヶ月もってしまうのかもしれません。
　
実は、夜中1:00に突然、ブラウザからのリクエストが到達不能になり、
どのリンクをクリックしてもブラウザに真っ白なDNSエラーが表示される
という事態に陥り、
　
　ついにHDDご臨終キタ━(ﾟ∀ﾟ)━！？
　
と大はしゃぎ（？）してしまったのですが、よくよく調べてみると、
HDDは何とも無いようです。あれれ？これは一体なに？？
　
それどころか、Webサーバ(apache)のログも順調に書き込まれ続けていて、
外部からのリクエストを元気に受け付けているようです。ということは、
ネットワークがメンテをしているワケでもありません。
　
では一体何が・・・、といろいろ調べてみた結果、ローカルで使用している
　
　proxyサーバ (squid) のプロセスが無くなっている
　
ことに気が付きました。慌ててsquidの再起動を試みますが、
起ち上がることは起ち上がるものの、アクセスすると途端に落ちてしまいます。
　
これはもしや・・・と思って調べてみると、
　
　ログファイルが2GBを越えて書き込み不能に！ (;´Д`)
　
なっているではありませんか。ログファイルはcronの設定で1ヶ月ごとに
rotateしていたハズでしたが、よくよく見るとその設定が間違っていて、
存在しないフォルダを移動先に指定していることが判明しました。
　

そのため、このsquidは結局この新サーバになった2004年10月から、
　
　まるまる1.5年間も同じファイルにログを吐いて
　
いたのです。外部からのリクエストを受け付けているapacheのほうは
いまや1ヶ月で1.5GBものログを吐きますが、このsquidは完全にLAN内からの
リクエストしか受けていませんでしたので、幸か不幸か、2GBに到達するまでに
ずいぶんと時間が掛かってしまい、発見も遅れていたのでした。
　
今回は内部用のsquidが落ちただけで、外部向けサービスには何ら影響は
なかったのですが、外部向けページを提供している apache や mysql に
同様の事態が起こったりすることを考えるとちょっとゾッとします((((゜Д゜;))))