あまとも通信 - FinePix F50fd シルバーは発売間近 »

2007年08月15日

「Munin」でサーバ状態の把握 - あわせていくつか負荷対策を実験中　

Webサーバマシンに最近流行りの（？）サーバ状態監視ツール
　
　「Munin」を入れてみました。
　
Muninの主な概要はGIGAZINEさんがされていますのでご覧ください。
私もこの記事を基点にして情報収集させて頂きました。
　
■MRTGよりお手軽に負荷やトラフィックをグラフ化できる「Munin」
http://gigazine.net/index.php?/news/comments/20060904_munin/
　
最近のIT系技術情報の凄いところは、新しいツールの使い方などが、参考書
などが一切不要で、ネット検索を広範に行って自分なりに整理することで
だいたい把握できてしまうという点です。本当に恐ろしい時代になったものです。
　
そもそもRRD-Toolって何よ？とかから始まり、Muninのインストール途中で
必要になるPerlモジュールの追加インストールとか、munin-nodeとmunin-cronて
それぞれ何してるのとか、どの情報をゲットするかはプラグイン設定を自分で
しなければいけないだとか、
munin-node-configure --suggest --shell --families auto,manual,contrib
とかって言われても。。。ネットが無ければ途方に暮れているところでした。
様々な情報を提供してくださっている各種サイト様に深く感謝です。
　
Muninのインストールについてはまたご興味のある方がいらっしゃったら
そこでお話するとして、本日の主題は サーバ状態(負荷)のお話です。
　
　
Muninを起動させてからまる１日以上経ちました。
　
■CPU Usage

　
デュアルコアですので Max=200% 換算で表示されていますが、
概ね50%～80%のくらいの間を行き来しています。
あまり余裕はありませんが、パンクしているという状態でもなさそうです。
　
一部真っ赤になっているのは ピークタイムではなく、
午前4時～5時頃に集中させているバッチプログラムが負荷を掛けています。
　
■Load Average

　
ロードアベレージも、一日の平均で見れば2.0ちょうどくらいで、2CPUである
ことを考えると、危険水域には達していない 状態（？）といえます。
　
　
それにしては最近、コミックダッシュ！やあまともが重過ぎるのでは？？
というお話になりますが、その１つの原因が次の項目にありそうです。
　
■Http Connection count

　
ウボァ('A`)　実はこれ、最初はApacheのMax Clients数が200でした。
しかし実際の状態を見ると、時間帯によっては簡単に200を振り切っています。
httpアクセスに順番待ち行列が大量発生していた可能性がかなり高そうです。
　
現在はKeepAliveを15秒→10秒→8秒まで減らした上で、Max Clientsを350まで
引き上げました(256より大きな値を設定するにはServerLimitも引き上げる必要有り)。
すると最大でHttp Connection countは 300近くまでは平気で上がるように なりました。
　
ちなみにこのHttp Connectionの増大の原因ですが、実際には
ほとんどがbotのアクセス になっています。画像やその他周辺ファイルを除いた
htmlとxmlのファイルへのアクセスだけみると、ユーザのアクセスは一日約3万、
それに対してWeb検索エンジンのbotなどが約4万、RSSの収集botが約3万のアクセスを
叩き出し、トータル10万のアクセスのうちの 7割がbot系 という困った状態になっています。
サーバを複数台まかなえるようなら上手く分離することも考えたいのですが、
現状は全てを1台でこなしていますので、何とかごまかしつつ運用していくしかありません。
　
それを受けて少しでもサーバを軽くすべく、まず Wii-Tubeの個別動画再生ページの
静的HTML化 を行いました。あるビデオIDの映像を誰かが呼び出すと、
初回のみPerlが動いてページを動的生成しますが、2回目からはそのとき生成した
静的HTMLを直接呼び出すようにmod_rewriteで誘導してあります。
　
実はWii-Tubeはメガとんトラックと同じく、ページ数ばかりべらぼうに増えてしまう
構造をしていますので、ユーザのアクセスはそこそこなのに、botのアクセスだけが
雪だるま式に増えていってしまうという問題を抱えていました。そのbotアクセスを
静的ページに誘導できるだけでも、軽量化のいくばくかの足しにはなるハズです。
(静的HTMLにしておくと、304 Not Modifiedが返せるようになるというメリットもあります)
　
そのほか、コミックダッシュ！およびあまとものトップページに掲載している
画像があまりにも多かったために、少し量を減らしてみました。
　
今後も少しずつアクセス状態の改善をしていきたいと思いますので、
今後とも宜しくお願いいたします。m(_ _;)m　機能追加に手が回りません。。。