2006年03月19日

PVのかぞえかた - PVに占めるロボットの割合を調べてみよう　

日曜コラムです、こんばんは。
　
ブログを含む「個人サイト」の運営者にとって、カウンタという数値は
とても励みになるものです。もちろん、コメントやトラックバックが付けば、
それが一番の励みになるでしょうが、そうした「カロリーの高い反応」は
なかなか得られるものではありません。
　
■2006/01/22 [コミュニケーションの消費カロリー - アイデンティティとテリトリーの関係]
　
そこで「カウンタ」という数字で、コメントよりももっと小さな
　
　「アクセス」という読者の声を拾う
　
わけですが、この数値もそれほどアテになるものではありません。何より、
「数え方」に関して共通の認識を持たないことには始まらないでしょう。
　
■鳶嶋工房blog「カウンタに意味と明日はあるのか」
http://tonbi.txt-nifty.com/blog/2006/03/post_b382.html
　
カウンタという数字は、昔ならサイトのトップページだけに、img出力型のCGIを
貼り付けてカウントをする方式が一般的でした。私のサイト Exrouge Fever は
2001年からスタートしていたこともあって、この方式を採用していましたが、
Googleが普及するにつれ、トップページを経由しないアクセスが増えてきました。
　
そこで生まれたのが、PV(PageView) というカウント方式です。
これは全てのページのアクセスを同じようにカウントし、しかも、
同じ人が何度アクセスしてもそれを全て加算していこう、という方式です。
検索エンジンのロボットなどが大量アクセスしてきても加算するため、
古来の「訪問者カウント」方式を信奉している方からすると、一見、
　
　見せ掛けの数を稼ぐ方式
　
という揶揄の対象となったりもしますが、一方で、カウント方式にゆらぎがなく、
誰もが統一したカウントを行うことが特長で、指標としては大変優秀です。
訪問者の数を測ろうとすると、
　
　「トップページへのアクセス数で・・・」
　「同一IPの連続カウントをまとめて・・・」
　「Cookieを払い出して、同じCookieの人が・・・」
　
などなど、測り方そのものに種類が多く、サイト間で通用する共通指標に
なりにくいのです。PVであれば誰しもが同じ方法でカウントできます。
　
　
さて、ここでは例によって「デジ埋」「デジモノREVIEW」を例にとって、
PVの内訳を覗いてみることにしましょう。
　
対象となるのは、2005年12月～2006年02月の3ヶ月間のPVです。この間に
「デジ埋」「デジモノREVIEW」あわせて102万のアクセスがありました。
その比率はほぼ「7:3」といったところです。
　

合計	1,021,782
デジモノに埋もれる日々	715,674
デジモノREVIEW(レビュー)	306,108

　
ところが、UserAgentを詳細に調査し、検索エンジンのロボットなどを
拾い出してみると、面白いことが判ります。まずは「デジ埋」のアクセスから。
　

デジ埋合計	715,674	100.0%
通常	555,525	77.6%
ロボット	160,149	22.4%

　
5分の1から4分の1 くらいがロボットによるアクセスとなっています。
更に内訳を見てみましょう。検索エンジンのロボットというと Googlebot
が最も有名ですが、実際に猛威を振るっているのは Yahoo Slurp です。
検索ロボットのアクセスのうち、4分の1以上がYahooで占められています。
全体のアクセス比率から見ても、実に 6.5%がYahooのロボット なのです。
Googlebotはこれに次ぐ4.3%となっています。
　

ロボット合計	160,149	22.4%
yahoo	46,716	6.5%
google	30,886	4.3%
WWWC	13,547	1.9%
msn	10,758	1.5%
POE	6,626	0.9%
その他	53,616

　
では一方で、「デジモノREVIEW」のほうはどうなっているでしょうか。
　

デジモノREVIEW合計	306,108	100.0%
通常	166,117	54.3%
ロボット	139,991	45.7%

　
ひぃぃっ！！！　((((゜Д゜;))))
　
ちょっとこの数字には驚かれる方も多いと思います。
というか、私自身がビックリしました。
デジ埋よりは多少ロボットの比率が高いことは予想していましたが、
まさかここまでロボットに占拠されていようとは。
　
・・・めげずに内訳を見てみましょう。
Yahoo Slurpの猛威はここでも全開で、実に全体のアクセスの 22.6% を占めています。
デジ埋に比べて全体のPVが半分以下であるにも関わらず、ロボットのPVは
デジ埋よりも大きいことに注意してください。ロボットのPVは、サイトに人気があるか
どうかに関わらず、単純に 手繰れるページ数 が多いかどうかに拠ってきます。
　
Googlebotも負けじと（？）13.0%のアクセスを占めています。
Yahoo、Googleのロボットに比べたら、MSNなどのロボットはまだ可愛いものです。
　

ロボット合計	139,991	45.7%
yahoo	69,303	22.6%
google	39,844	13.0%
msn	12,263	4.0%
curl	5,861	1.9%
その他	12,720

　
というワケで、3ヶ月、102万のアクセス(PV)に占めるロボットの割合は
約30% となりました。ですから、ウチで公開しているPV合計数も
3割引きで 考えていただければと思います・・・。しかしそれも上記の通り、
　
　サイトによってロボット比率は大幅に異なる
　
ことに注意してください。デジ埋は22%、デジモノREVIEWでは45%でした。
これはサイトの人気度とページ数のバランスによって大きく変化します。
　
　
アクセス数を測るとき、
　
　検索ロボットのアクセスはいらない！
　
といって、邪険にする方も少なくありません。検索ロボットのアクセス数は、
ときにはサイト運営者をぬか喜びさせ、ときにはサイト訪問者に見せる
「見せ掛けのアクセス数」を増やすための材料としても使われます。
しかし、だからといって robots.txt に検索ロボットを弾くような設定を入れるのは
考えモノです。なぜなら、検索ロボットの来訪は、サイトにとって
　
　いわば「ツアーコンダクタ」の下見の役割を果たす
　
からです。検索ロボットがサイトの情報を調べてくれるということは、
いつかその検索エンジンが、少なくない数の来訪者を導いて来てくれる
ということに他なりません。
　
ですから私たちサイト運営者は、ユーザのアクセス動向、ロボットのアクセス動向
の違いをしっかりと見極めながらも、それぞれを受け入れる必要があるでしょう。
　
文量が多くなりましたのでまたの機会にしますが、ここでは対象外となっていた
「RSSへのアクセス動向」も、克明に追ってみるとなかなか面白いものです。
　
ネットの中では、人間のアクセスと同じくらい、機械による自動アクセス が
幅を利かせています。だからといって「人間のアクセス以外は要らない！」などと言わず、
その数字と真正面から向き合ってみてはいかがでしょうか。