Googleの検索ボットに偽装すると有料サイトが無料で閲覧できるらしい - GIGAZINE

セキュリティ

あり得る話ですね、その上、robots.txtにクロールして欲しいディレクトリが記述されていたりしてｗｗｗ

Googleの検索データベースを作成するためにネット中のあらゆるページを収集して巡回している「GoogleBot」というものがあります。このGoogleBotが来ると検索結果に反映されるというわけ。
で、ネット上にいろいろと存在している有料サイトは客を確実に呼び込むため、検索結果に自分のサイトの中身をちょっとだけ表示させるために、なんとGoogleBotは無料で有料サイト内を巡回できるようにしているらしい。