Anomaly detection - 평가지표

• 정오행렬 기반 평가지표

• False Rejection Rate (FRR) : FP/(FP+TN)
  • 원래는 정상이나 이상치 탐지 모델에 의해 이상치로 잘못 판별된(rejected) 비율
• False Acceptance Rate (FAR) : FN/(TP+FN)
  • 원래는 이상치라서 탐지가 되어야 하나 모델에 의해 탐지가 되지 못하고 정상으로 판별된(accepted) 비율
• 위의 방법은 cut-off value에 따라서 dependent하는 지표임
• 이상치 탐지 방법론 자체의 정합성을 평가할 때는 cut-off 에 영향을 받지 않는 성능 평가 지표가 필요함

 

• AUROC와 Integrated Error 둘 중 하나를 사용하면 됨
• cut-off value를 달리하면서, x축은 FRR, y축은 FAR을 도시한 그래프
• Integrated Error (FRR-FAR 그래프 밑면의 넓이 = 1-AUROC)
• Equal Error Rate (EER) : FRR과 FAR이 같아지는 지점
• 해당 넓이를 통해 분류기의 탐지 성능 자체를 평가할 수 있고, 현업에서는 cut-off value를 조정/정의하기 위한 자료로 활용 가능할 것 같다.

 

 

[참조] 강필성 교수님의 https://fastcampus.co.kr/data_academy_kps1 강의 자료를 참조했습니다.