Googlebot

あれ？

なんでビジーなの？
昨日は全然アクセスなかったのに･･･

自分の作成したサイトをオープンして半年。
アクセス状況はいつ見ても1日に数十アクセス。
なんとかアクセス数を増やしたい!と思っていた矢先に、
突然訪れたサイトビジー。

サーバーのアクセスログを調べたところ、
犯人は「Googlebot」の仕業だ！
アクセスログの中には「Googlebot」の文字がびっしり！
カウントしてみたら、なんと２万以上！！

そもそも「Googlebot」って何？

その正体は「クローラー」と呼ばれる検索ロボットです。
クローラーは、ウェブサーバー上の文書や画像などを
一定期間ごとに巡回し、変更箇所などを見つけ次第、
自動的にデータベースへ追加するというプログラムなんです。

Yahoo!では「Slurp」、MSNでは「MSNBot」というものが
それに相当しますが、
最近「Googlebot」が異常なまでの巡回を行っているようです。

その巡回を受け入れ続けると
ウェブサーバーへの負荷が大きくなりサイトビジーのため
アクセスすらできなくなってしまいます。

ではどうしたら？

クローラーのアクセスを制御すれば良いのです。

その手段として、「Googlebot」へ情報収集を許するかどうかを
指示するための「robots.txt」というファイルをサイト内へ置く方法や、
HTMLファイルのMETAタグを利用する方法があります。

ただ、これらの方法は万全ではなく、
クローラーによっては効果がなかったり、
情報漏えいの危険性もあります。


・認証機能を利用したユーザー限定
・ディレクトリ構成を工夫し、大事なページを保護する

といった対策をとらなければなりません。

今回は「robots.txt」で制御することにしたら
クローラーの巡回数は激減しました。

なぜ「Googlebot」の巡回が急激に増えたのか？
これは謎のままですが、Googleから、じきにこの状況について、
発表があることでしょう。


クローラーとは上手につきあっていきたいものですね。