KDDI研、有害ページを効率的に自動収集するWebクローラを開発 | RBB TODAY (エンタープライズ、セキュリティのニュース)（情報元のブックマーク数）
有害情報を含むWebページを自動収集する有害クローラを開発とのこと。
KDDI研究所は2日、有害情報を含むWebページをインターネット上から効率的に自動収集する「有害クローラ」を開発したことを発表した。優先的に有害ページを推定できるため、青少年を保護するためのフィルタリングサービスへの適用が期待される。
KDDI研、有害ページを効率的に自動収集するWebクローラを開発 | RBB TODAY
出会い系、あるいは犯罪予告などを目的とした有害ページなどを列記する「ブラックリスト方式」の有害情報フィルタが現在活用されているが、リストを生成するには、有害ページを大量に収集し、内容をチェックする必要があった。そのため、多くのWebページは無害であるため、有害である可能性が高いWebページを効率的に収集できる高度な「Webクローラ」（Webページを自動的に収集するロボットプログラム）が求められていた。
