私の はてなのCAPTCHAは簡単に破れる というエントリが 高木浩光氏のblog で再度取り上げられた関係で、アクセスが増えているのでこれを機会に補足しておきます。

私の該当エントリはCAPTCHAとは何なのかという話と、 Radium Software Developmentのエントリ 「Breaking CAPTCHAs with NNs」 を紹介してCAPTCHAの強度で重要なのは文字の分割をしにくくすることだと述べました。

そして、はてなのCAPTCHAは画像処理をかじった人間であれば小一時間で破るプログラムが作れる程度に弱いことを実証しました。 画像処理に重きを置いた技術記事という位置づけですね。

経済的な観点での考察はしていませんでしたから、費用対効果という観点で再度見つめてみたいと思います。

費用対効果についての諸意見

さて、 はてなブックマーク で付いていたコメントには以下のようなものがありました。

• 荒らし対策目的の場合は、荒らされたときに次の改善バージョンに切り替えればいい話。
• 実用レベルでは十分役に立ってる。導入後にスパムは消えた。
• CAPTCHAは実装がアレでも「ある」というだけでspammer避けになるものだと……費用対効果の問題で。
• かといってすぐにそれをやる人がいるとは限らない、というお話。
• 強度の低いセキュリティでも効果がある間は改良は不要。でも将来的にはどうにかしたいよね，ってレベルかな
• たしかにここまでやる気がないのならもう素直にノイズ無しでもあまり違わない気もするよね。
• スパム対策として使っているのならある程度スパムプログラムがはじけてそこそこの効果があれば十分だと思うよ。
• OCR…というか、機械に文字を読み取らせる技術について知識がないとCAPTCHA意味無し。だがライトスパマー（？）を弾けるならそれで十分か。
• 費用対効果ってこともあるから、破られてから対処するぐらいで良さそうだけどなぁ…
• この程度のCAPTCHA破りは許容してるんだと思ってた。完全じゃなくても単純なボットが実用レベルで防げれば十分と考えられるし、そういう運営側の判断もよくある。

費用対効果としては十分じゃないの、という意見が多数。
また、高木浩光氏は以下のように発言しています。

もちろん、技術的にそうだという話をするのはいいのだが、これを見て、「これじゃ全然だめ」だの、 「はてな、なんとかしろ」だのとぬかすバカが出てきて困る。 まだ荒らされてもいないのに、わざわざイタチごっこの手を自ら先に進めることもあるまい。 やられたら次の手に進められるよう準備しておけばいいだけの話だ。 荒らし対策の話は、脆弱性対策の話とは異なる。荒らしはしょせん程度問題であるし、取り返しのつかない被害が即座に出るわけでもない

費用対効果を考える際のポイント

私の該当エントリでは技術的な話題に終始していたので、費用対効果といった経済的な観点での 考察は特に行っていませんでした。

高木浩光氏の発言にもあるとおり、脆弱性などに比べれば緊急性は薄い。 この話題で費用対効果を考える際にポイントとなるのは、

• 現状でのスパマー避けの効果
• 現状のCAPTCHAを破る労力
• CAPTCHAを修正する費用

といったところでしょうか。

スパマー避けの効果について、はてなのjkondo氏が スパムとの闘い というエントリで以下のように語っています。

まず、スパムコメントですが、これは特定の条件に適合したコメントをスパムとして自動判定して書き込めない措置を取ったり、 ゲストがコメントを書くときには画像認証を行うようにしました。 （この画像認証については、機械的に識別が可能だという話が先日上がっていましたが、 現時点では大きな効果を上げています。効果が無くなればまた改善をします）

このことからもスパマー避けとして、成果は上がっているのでしょう。 （私の別エントリの CAPTCHAとスパマー も参照のこと。ほとんどのスパマーはスクリプトキディと思われる）

確かに、はてな側は後出しジャンケンのようなもので、破られてから対策すればいいわけですし、 スパマー側としてはCAPTCHA破りをしたところで、対策されるまでの短い期間しか使えません。

しかし、このCAPTCHAを破る労力と言えば、私が実証したとおり、小一時間程度なわけです。 つまり、十分に「元が取れる」程度には軽微な労力なのですね。 ですから、いつ何時にスパマーがアタックを始めてもおかしくはないという状況で、 負の不確定要素、ネガティブリスクとなっているわけです。

そして、修正費用。
これがネガティブリスクの多寡に比べて高価なのであれば、先送りするという判断は正しい。 もっともあのCAPTCHAを直すのに技術者をひとり、1週間使わせれば十分でしょうから 月給100万の技術者を使ったとしても25万もかければ修正できる。

このことから、はてなは

「ある日突然SPAMまみれになった際に対策をする費用」 × 「その発生率」 ＜ 「修正にかかるコスト(25万以下と推定)」

と判断したということになります。

私が指揮する立場にあれば即座に修正をしますね。 上記式だけでも修正するのに十分な理由ですが、 「我々はCAPTCHAのなんたるかなんて全く解っていませんよ」 という張り紙をしてブランド力を貶めている状況は耐えがたい。

技術力に対する評価はプライスレス。
はてなはユーザはどうせ技術なんて分んないんだから適当でいいんだよ、という姿勢なのかもしれませんね。