ネガティブか、ポジティブか……それが問題だ − @IT

a threadless kite - 糸の切れた凧(2008-07-15)経由)

誤検知と見逃しの、セキュリティ技術者を悩ませるお話ですね。

セキュリティセンサーから送られてくる情報のフォールスポジティブ(False Positive:誤検知)とフォールスネガティブ(False Negative:見逃し)です。
フォールスポジティブとは、見つけたい脅威とは違う事象が発見される状態です。フォールスネガティブとは本来見つけたい脅威が発見されない状態です。人が目を離したすきに警報を見逃すケースもフォールスネガティブに該当しますが、今回は脅威を発見し、警報を出すところに焦点を絞ります。脅威を分析するうえでは、フォールスポジティブとフォールスネガティブのどちらの発生確率もゼロになることが理想です。

ネガティブか、ポジティブか……それが問題だ:川口洋のセキュリティ・プライベート・アイズ(5) - @IT

拳銃とライフル銃でうまく表現されていますね!

「拳銃」を持っていることが発見されているのではないかと考えた銀行強盗は「拳銃」を「ライフル銃」に変えて、銀行を襲いました。銀行強盗を発見するためのシグネチャは「サングラス」かつ「拳銃」という条件になっているため銀行強盗の発見が遅れてしまいました。この事象がフォールスネガティブです。

ネガティブか、ポジティブか……それが問題だ:川口洋のセキュリティ・プライベート・アイズ(5) - @IT

まず、分析する人としてはアラートをあげて、それをうまく分析、フィルタすることで、動きをみるって感じですかね。

LACさんだったら、IDSやIPSがハニーポットみたいな状態だから色々面白い情報がみれますよねぇw

われわれセキュリティアナリストは、脅威を発見できないフォールスネガティブが本当に怖いです。そのため、われわれがシグネチャを作るときにはフォールスポジティブの確率が上がることを覚悟して、フォールスネガティブの確率を下げるため、条件を粗くしたシグネチャを作ります。

 われわれは「シグネチャの作者=アラートの分析者」ですので、多少のフォールスポジティブが発生しても、そのフォールスポジティブを排除するわれわれの作業量が増えて困るだけであり、お客さまは困ることはありません。フォールスネガティブの確率を下げるために、粗いシグネチャを作成し、多数のインシデントを検知させます。そして検知したインシデントからフォールスポジティブを排除することで本当の脅威を発見します。例えるなら、目の細かいザルで多くの「疑い」を引っ掛けて、人の目の手作業で本当の脅威を見つける手法、“サハラ砂漠で砂金を見つける”そんな作業なのです。

ネガティブか、ポジティブか……それが問題だ:川口洋のセキュリティ・プライベート・アイズ(5) - @IT

screenshot