サーバディスク障害 - 故障時の状況や復旧状況の補足について

　
今回の障害は HDDトラブル でした。
　
サーバが突然応答不能になり、全くログインできないどころか
動いている気配も無くなったため、仕方なく再起動をしたところ、
ディスクの不整合が酷すぎて セーフモード でしか起動せず、
fsckを走らせて修復しないと先に進めない、という事態になりました。
　

　
ところがこの fsckが全く埒が明かず、実行してみるとinodeのロストが
数百、数千と出てきて目も当てられない状態でした。それでも祈りつつ
最後までやらせてみると、再起動後に「まだ不整合が・・」といって
またfsck以外何もできない状態となり、再実行すると前回と同じくらいの
数のロストが前回と違うnodeで大量に見つかってくる、という、
どう考えても 繰り返せば繰り返すほど悪化している
ようにしか見えない状態になってしまっていました。
そして、この間何回もディスクからは 異音 が聞こえていました。
　
RAID-1(ミラー)はデータを保護するためのものではなく、
故障時に急に止まらないようにするため＝可用性を上げる
ための対策でしかない、というのはよく言われることですが、
今回はそれを実体験してしまったことになります。
　
純粋なハードウェアトラブル、たとえばHDDの1基が急に壊れて
アクセス不能になったような場合にはRAID-1が効いて片肺のまま
運用を続けながら壊れたHDDを入れ替えるようなことができます。
以前もそういったことは何度もありました。
　
しかし今回は壊れ方が微妙だったのか、壊れたディスクは部分的に
うまく動いたり動かなかったりで、さらに異常を出したのが片方だけ
ではなかったのかもしれません。OSのジャーナルファイルシステムの
の部分がおかしくなったのか、自己修復しようとしてさらに壊れていく
といういわば ソフトウェアクラッシュ の状態になりました。
　
RAID-1(ミラー)はソフトウェアクラッシュに対しては全く無力である
というのは自明で、たとえば別の例では、ウィルスがファイルを消しまくる
といったパターンは2台のデータを「ちゃんと」消していってしまうため、
そういうケースではRAID-1はデータ保護の役には立ちません。
　
今回のことを通じて改めて感じたのは 静的バックアップの有り難み でした。
　
さて、そんな中で少しでも新しいデータをサルベージしようとしたときに
今回思わぬ大活躍をしたのがコレです。
　

　
Forza3に付いてきた USBメモリ です。（Forza3かどうかはどうでも良いのですが）
クラッシュ状態にあるサーバはそもそもネットワーク接続ができません。
一度止めて片方のHDDだけを新サーバにマウントしてもよかったのですが、
なにぶん壊れ方が片方だけで済んでいるとは思えないような状況でしたので、
とにかく現状を壊さずにそのまま今見えているものだけをそっと抜き出したい、
といったときに、USBメモリをマウントしてコピーしていくというのは
思わぬ突破口になりました。最近のLinuxが UMSに対応 していて本当に助かります。
このメモリのおかげで相当数のファイルや重要な設定がサルベージされました。
　
もう1点、今回の緊急サーバ移行によって昨年暮れから準備していた
Core i7-875K 搭載 の新サーバを予定より遥かに前倒しで使うことに
なったのですが、そのパフォーマンスはやはり目を見張るものがあります。
　

　
前サーバで動いていた機能はほとんど新サーバでも動かし始めたのですが、
CPU負荷だけ見ると 5分の1 くらいになっています。前のサーバを購入したのが
もう4年以上前ですので、歳月に見合った実力ということになるでしょうか。
　
ただ、今までこのサーバにすぐ移行させなかったのには理由があります。
それはサーバ移行という機会が不連続な変化を受け入れるチャンスということで、
これを機に 各種プログラムを書きなおして から移行したい、という
考えがあったからです。中でも文字コードがEUCベースになっている点だけは
どうしても書き換えたかったのですが、残念ながら今回の緊急事態により、
その予定は 全てご破算 になり、既存のプログラムをそのまま移植するだけで
精一杯ということになりました。。。このあたりはこれからまたじっくり
時間を掛けて改造計画を立てなければならないと考えています。いずれにせよ
しばらくは沈静化するのを見守りつつ状況変化に対処していきたいと思います。