[ML] 손실 함수 | study book

손실 함수

단일 샘플의 실젯값과 예측값의 차이가 발생했을 때 오차가 얼마인지 계산하는 함수이다. 인공 신경망은 이 함수를 통해 계산된 오찻값을 최소화하여 정확도를 높이는 방법으로 학습이 진행된다. 손실함수, 목적함수, 비용함수 같은 단어이다. 자세히 비교하자면 손실함수 ⊂ 비용함수 ⊂ 목적 함수이다. 기본적인 개념으로 선형회귀의 $y$값과 $\hat{y}$ 을 생각하면 된다.

제곱 오차

$$ SE=(Y_i - \hat{Y_i})^2 $$
오차는 방향보다는 크기가 중요하기 때문에 양수로 만들어주기 위해서 제곱을 한다. 절대값도 있겠지만 제곱이 더 편하기 때문이다. 그리고 제곱을 통해서 더 두드러지게 확대시키기 때문에 오차의 간극을 빠르게 확인할 수 있다.

오차 제곱합

$$ SSE=\sum^n_{i=1}(Y_i - \hat{Y_i})^2 $$
오차를 모두 더함으로써 전체적으로 모델에 대한 오차를 평가할 수 있다.

평균 제곱 오차

$$ MSE=\frac{1}{n}\sum^n_{i=1}(Y_i - \hat{Y_i})^2 $$
가설의 품질을 체크할 수 있고 0에 가까워질수록 높은 품질이다. 회귀 분석에서 가장 많이 사용되는 손실함수이며 (최대 신호 : 잡음)으로 계산할 때도 사용한다.

평균 제곱근 오차

MSE에 제곱근을 하면 평균 제곱근 오차가 된다. 루트를 통해 제곱 오차에서 발생한 왜곡을 감소시키면 정밀도를 표현하기 적합한 형태가 된다.

교차 엔트로피

$$ CE(y,\hat{y})=-\sum_j y_j\ log\ \hat{y}_j $$
이산형 변수에서는 교차 엔트로피를 사용한다. 주로 분류 위주의 문제에 사용된다.

참고 자료

https://product.kyobobook.co.kr/detail/S000209621433

파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 | 윤대희 - 교보문고