YouTubeの☆評価のお話と、評価という「システムデザイン」のお話
2009/09/21久しぶりに簡易コラムです。こんばんは。
■TechCrunch: YouTubeが5つ星級の発見：評価システムは無意味だった
http://jp.techcrunch.com/archives/20090922youtube-comes-to-a-5-star-realization-its-ratings-are-useless/
これは、YouTubeのビデオをユーザーがどう評価しているかを表したものだ。ご覧のとおり、1つ星が少しと大量の5つ星があって、2、3、4は事実上ゼロだ。というわけでYouTubeが今日（米国時間9/22）のブログ記事で、スターシステムはビデオの評価には必ずしも適していないことを認めた。
YouTubeの公式ブログで、YouTubeの☆評価の分布 についての記事があり、
YouTubeの☆評価に於いて 「５」以外はほとんど使われていない
ということが明らかにされたというお話がありました。
これは興味深いというか、このリンク元にもあるとおり、ある程度
予想された事態、言い換えると利用者の直感に合った状態なのでは
ないかと思います。ただ、この部分にはちょっと違和感がありました。
もちろん、しばらくYouTubeを使ったことのある人なら、既に知っていることだ。さらに言えば、あらゆる5つ星評価システムに、同じことがあてはまる。ビデオ（に限らず何でも）が良いか悪いかは簡単にわかるが、いったいどうやって2つ星か3つ星か4つ星かを決められるというのか。誰もがこうした評価について独自の考えを持っていて、当然それは全くの主観だ。
「あらゆる5つ星評価システムに、同じことがあてはまる。」
これですね。ここにはちょっと異を唱えておきましょう。
まずYouTubeに於ける☆評価がなぜ「５」ばっかりなのか、という理由について、
ビデオ（に限らず何でも）が良いか悪いかは簡単にわかるが、いったいどうやって2つ星か3つ星か4つ星かを決められるというのか。
というくだりがあります。視聴者は「良い」か「悪い」の2つくらいしか
判断できなくて、それ以上細かい評価は不要だという考え方です。
実際はおそらく考え方の順序が違います。それににはまず、
「☆評価を付ける」という行為そのものが面倒くさい
という事実から入る必要があります。ユーザはよほどのことがない限り、
面倒くさいだけのことはやってくれません。このハードルは実際にコミュニティを
運営したことのある人なら実感を以って感じることができるでしょう。
「あなたのレビューを書いてください」などとやってみても、ユーザは
想像以上に誰も書いてくれない ものです。面倒くささが先行し、それに対して
大したメリットもない行為は、たとえクリック1つでも やってくれないものです。
では、このハードルを越える要因を作るのは何でしょうか。
それはYouTubeでいえば 「もの凄く良い動画を見たとき」 です。
この凄さを誰かに伝えたい！まず作者(というかうｐ主？)に伝えたい！
という欲求が湧き上がり、それが 面倒くささという閾値 を越えて、
ついに☆評価をクリックさせるに至ります。
ちょっとまわりくどい説明をしましたが、要するにそういうことです。
視聴者は「２」～「４」の評価も自分の中ではちゃんと持っています。
ただ、☆評価を付けるという 「面倒くさい行為」を発動 させるに至るのは
「５」くらい突き抜けた動画を見たときだけなのです。
よくアンケートなどで母集団の偏りが指摘されることがあります。
無作為といいつつネットでアンケートする時点でバイアスが掛かっている、とか、
そういうものですね。そのほかにも 「無回答」を抜きにした割合 を取ると
積極的(粘着質？)な層が多いところが強調されてしまうという偏りもあります。
YouTubeの☆評価はまさにそういう状態で、「５」を付けるくらい感動した人だけに
聞いた評価、というものが集まってしまっていると思えば分かりやすいでしょう。
ここで話は戻りますが、YouTubeの☆評価が何故偏るのかというのは
分かった（ような気になった）として、
「あらゆる5つ星評価システムに、同じことがあてはまる。」
というのは本当にそうでしょうか？ これは 逃れ得ない運命 なのでしょうか？
私はそうは考えていません。それをご説明するためにYouTubeの☆評価のうち
もう１つの特徴を考えてみることにします。それは、
つけた☆評価が「評価者自身の情報」として蓄積されない
という点です。いや、実際は蓄積されているのかもしれませんが、
それが有効に活用できるような仕組みが整っていません。
ほとんどの☆評価が その場のノリで 「これおもろい！ ☆５つ！」
という感じで付けられている状態だと思われます。
「蓄積」されたものを活用するという考え方が、なぜ評価システムに
重要なのかといいますと、それは自分のつけた 評価「同士」の整合性 を
取る機会が存在しないからです。たとえば、1年前につけた☆５つの動画に比べて、
今見ている動画は同じ☆５つを与えるに足るでしょうか？
あの動画が５だとしたら、この動画は４かも・・・いや、３くらいかな？
という過去の自分の評価判定との「相対評価」によって、☆評価はようやく
「１」～「５」までをまんべんなく使える土台として機能します。
ユーザが付けられる評価はあくまで「客観評価」ではなく「主観評価」なのです。
☆評価というのは「世間の中でこれは５段階でいう４と言われるべき」などと
思って付けられるのではなく、自分の中で特別なものと、ちょっと特別なものと、
ふつーなものと、・・・という 「自分的分類」 の中で意味を持ちます。
従ってそうした継続的に溜め込んで評価を続けるような環境に於いては、
☆評価システムもまんべんなく使われるようになるはずです。
また自分のサービスのお話で恐縮ですが、「コミックダッシュ！」では
所有コミック一覧にそうした☆評価をまんべんなく付けてくださっている方が
少なくありません。これはまさに、付けた評価が 「自分を表現する情報」
として蓄積されるからです。
「私はこの漫画を「５」だと思うけど、あの漫画は「３」くらい だと思う」
というのが自己表現として機能することで、全体に於ける評価の分布は
それでも「４」「５」が多いとはいえ、先のYouTubeの例に比べれば
相当に低い位置に重心ができてきます。
これはまた、リアルの金銭が掛かって貯めたコレクションが対象であるという点も
YouTubeとは異なる点なのかもしれません。漫画は自分にとって 「当たり」 では
なかったものであっても、冊数としては自慢ポイントの１つです。そうすると
「当たり」ではないものも評価を付ける動機が生まれてきます。
これが無料で見られるYouTubeの動画であれば、「当たり」でないものは、
何もせずにウィンドウを閉じて、生涯忘れたまま にしておけば良いということに
なります。上述のとおり「５」を付けたくなるくらい感動した作品でなければ、
その動画の☆評価の部分に手を付けることは生涯無いでしょう。
このように☆評価、あるいはレビューのシステムというのは、システムデザイン
によってその意味が大きく違ってきます。そのあたりが上手く機能するように
知恵を絞るのも運営者の仕事ですし、それによってまた新しい評価の切り口が
見つかることもあるでしょう。たとえば、誰でも付けられる評価と、
ログインしないと 付けられない評価、というだけでも性質は全く違います。
考えれば考えるほど複雑で難しく、だからこそ面白い分野でもあります。
逆に、見ているユーザ側からすれば、それが「システムデザインとして」
どういう性質を持っている評価なのかを確認する必要はありそうですね。
2009/09/21 [updated : 2009/09/21 23:59]
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ！」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。
@ckom をフォローする
 « Forza3体験版は9/24(木)配信開始 - 1コースと5車種でタイムアタック祭り！ |  トップに戻る |  Forza3体験版でテストプレイしてみた - 車内視点、リプレイ、衝突・巻戻し » |
▼ はてなブックマークのコメント ▼
関連記事
ピックアップタグ
- アニメ(440)
- GSR(319)
- ライブ(79)
- イベント(207)
- コラボカフェ(35)
- VTuber(25)
- アニメ吐き出しメモ(10)
- ウマ娘(50)
- 舞台挨拶(45)
- 先行上映会(19)
- トークショー(20)
- バンドリ！(51)
- ガールズ＆パンツァー(59)
- 少女☆歌劇レヴュースタァライト(60)
- ゾンビランドサガ(9)
- プリンセス・プリンシパル(19)
- スタリラ(31)
- コラム(171)
- ゲームプレイ日記(69)
- ワンフェス(13)
- コメンタリー上映(7)
- 岩浪美和(25)
- 大洗(9)
- 響け！ユーフォニアム(12)
- リズと青い鳥(9)
- RAISE A SUILEN(10)
- 艦これ(23)
- ストライクウィッチーズ(23)
- メイドインアビス(8)
- BLAME!(8)
- ヤマノススメ(7)
- ラブライブ！サンシャイン!!(11)
- HELLO WORLD(6)
- 宇宙よりも遠い場所(5)
- ヴァイオレット・エヴァーガーデン(8)
- 私に天使が舞い降りた！(9)
ブログ内検索
▼ コメント ▼
No.29301 投稿者 : 船橋 2009年9月24日 16:04
私アメリカにいるとき、アメリカの会社で働いてまして。
社員同士の評価というのをやらされたことがあるんです。
アメリカ人がアメリカ人を評価すると、実績にかかわらず ５ でした。
ところが、評価が異常に辛い（平均を５点満点で３点にしている）集団があり
調べてみると日本人社員でした。
アメリカ人は子供のころからお互いほめあっているので、評価が高めにでてしまうんですが、日本人はなんとなし「普通に働いてたらそりゃ３でしょ？」というのがあって
３付近に評価が偏るようで。
で、その後のリストラでは、この評価がもとになって人選されたせいで、大量の日本人が解雇されました。
みんな会社をささえてたエンジニアだったんですが。
で、一流どこのエンジニアを失った会社はその後つぶれました。
No.29668 投稿者 : 匿名 2010年2月16日 15:17
pixivじゃ１０点満点中１点をよく付けられますよ
動画ははじめから興味のある人しか見ないけど、画像は勢いで見られますから
No.29676 投稿者 : 匿名 2010年2月21日 16:55
↑だから、その1点というのも、めんどくささを超えるほどの「こんなのダメ！」という想いが働いたときだけつけられる点数なんだから、YouTubeに星５つしかつかないというのと同じ理屈。pixivという所で、9点～2点が10点と変わらないくらいよく使われているのでないなら、システムが機能していないレベルでは一緒。見る見ないの問題じゃなく、評価システムが極端な意見しか集まらないという話ですよ?
Amazonや食べログ等では、評価に長々とコメントを書くのがデフォで、更に「参考になった」という評価者の再評価システムがあるので、評価者はプチ評論家気分で自分の発言の影響を知り、評価作業に喜びと責任を考えるようになります。これも、めんどくささを乗り越えて点を集めるうまいやり方だと思います。
YouTubeの5星評価システムがうまくいかなかったのは、評価「同士」の整合性 を 取る機会が存在しないから。「あらゆる5つ星評価システムに、同じことがあてはまる。」わけではない。
原文にない"the same seems to be true"がさらに誇張されて「あらゆる5つ星評価システムに、同じことがあてはまる。」になってるという。孫引きの罠ですね
面倒臭さの閾値を越えた口コミが強力なのはこういうことか
とりあえずフォントいじりは古い。。。
YouTubeの☆評価は、「５」を付けるくらい感動した人だけに 聞いた評価
評価システム。自分を表現する情報=評価。自分のつけた 評価「同士」の整合性 を取る機会が存在しないと1or5ばっかりに。
これとても参考になると思う。
コメントしましょう