[ML] Confusion Matrix (혼동 행렬)

Confusion Matrix

출처: https://encord.com/glossary/confusion-matrix/

 

 

Model : Classification(분류)

Confusion Matrix(혼동 행렬)은 분류 문제에서 모델의 성능을 평가하는 데 사용되는 테이블이다.

 

실제 값과 모델이 예측한 값을 기반으로 구성된다.

 

분류 모델이 각 클래스를 얼마나 잘 혹은 못 분류했는지를 보여준다.

 

 

 

 

 

True Positive (TP)

모델이 긍정적인 클래스를 정확하게 긍정으로 예측한 경우의 수

True Negative (TN)

모델이 부정적인 클래스를 정확하게 부정으로 예측한 경우의 수

False Positive (FP)

모델이 부정적인 클래스를 잘못해서 긍정으로 예측한 경우의 수(Type I error라고도 불림)

False Negative (FN)

모델이 긍정적인 클래스를 잘못해서 부정으로 예측한 경우의 수(Type II error라고도 불림)

 

 

 

 

이 네 가지 요소를 바탕으로, 여러 성능 지표를 계산할 수 있다.

정확도(Accuracy)

$$\frac{TP + TN}{TP + TN + FP + FN}$$

모든 예측 중에서 올바른 예측의 비율이다. (T/ 전체)

정밀도(Precision)

$$\frac{TP}{TP + FP}$$

긍정으로 예측된 사례 중 실제로 긍정인 비율이다. (T /all P예측)

재현율(Recall) 또는 민감도(Sensitivity)

$$\frac{TP}{TP + FN}$$

실제 긍정 사례 중에서 긍정으로 올바르게 예측된 비율이다. (TP / 실제 긍정)

특이성(Specificity)

$$\frac{TN}{TN + FP}$$

실제 부정 사례 중에서 부정으로 올바르게 예측된 비율이다. (TN / 실제 부정)

 F1 점수(F1 Score) 

$$\frac{2 * Precision * Recall}{Precision + Recall}$$

정밀도와 재현율의 조화 평균이다.

 

 

 

 

Confusion Matrix는 특히 데이터 세트에 불균형이 있을 때 더욱 유용하다.

 

그 이유는 정확도만으로는 모델의 성능을 완전히 이해할 수 없기 때문이다.

 

예를 들어, 어떤 클래스가 다른 클래스보다 훨씬 많은 경우,

 

모델이 그 클래스를 더 잘 예측하도록 편향될 수 있으며, 이는 정확도는 높지만 실제로는 성능이 좋지 않은 모델을 의미할 수 있다.

 

Confusion Matrix를 사용하면 이러한 문제를 더 잘 파악하고 대응할 수 있다.

 

 

3 x 3 Confusion Matrix (or n x n)

3 x 3 Confusion Matrix 는 다중 클래스 분류 문제에서 사용된다.

 

학교에서 배운 임신관련하여 모델을 측정해 보겠다.

임신 상태를 예측하는 모델을 가정

1. 음성(Non-pregnant): 임신하지 않음.
2. 초기 임신(Early-stage pregnant): 초기 임신 단계.
3. 말기 임신(Late-stage pregnant): 말기 임신 단계.

3 x 3 Confusion Matrix는 다음과 같이 구성된다.

https://devopedia.org/confusion-matrix

 

https://www.researchgate.net/figure/S-1-multiclass-confusion-matrix-TP-true-positive-FP-false-positive-FN-false-negative_fig1_361092131

 

 

그림에서 알 수 있듯이,

 

True Positive를 하나 정하고 나머지는 Negative로 치부하면 된다.

 

음성이라 Negative가 좋은 표현이겠지만 그림과 통일시키기 위해 Positive로 정했다.

실제 \ 예측	음성	초기 임신	말기 임신
음성	TP	FN	FN
초기 임신	FP	TN	TN
말기 임신	FP	TN	TN

 

위의 네 가지 요소(정확도, 정밀도, 재현율, 특이도)는 정의 대로 구할 수 있다.