[ML] Hyper Parameters (하이퍼 파라미터)

개념

하이퍼파라미터는 기계학습 알고리즘의 성능을 조절하는 데 사용되는 외부 설정 값이다.

 

즉, 모델을 정할 때 우리가 입력하는 값들이라고 생각하면 쉽다.

 

이러한 하이퍼파라미터는 학습 과정에 직접적으로 관여하지 않고, 대신 알고리즘의 구조(예: 복잡성)와 학습 과정(예: 속도)을 조절하다.

 

기계학습 모델의 성능을 최적화하기 위해서는 적절한 하이퍼파라미터를 선택하고 조절하는 과정이 필요하다.

 

이해가 잘 가지 않는다면 예시에 나온 키워드들을 하이퍼 파라미터라고 생각하는 게 좋다.

 

(나도 잘 이해가지 않기 때문에 "예시에 나온것들이 하이퍼 파라미터구나" 정도로만 이해 중..)

 

 

 

하이퍼 파라미터 예시

학습률(learning rate)

학습률은 모델이 학습하는 속도를 결정한다.

 

너무 높으면 학습 과정에서 발산할 수 있고, 너무 낮으면 학습이 너무 느려져서 최적의 해를 찾는 데 오래 걸릴 수 있다.

에포크 수(epochs)

에포크는 전체 데이터 세트에 대해 학습 알고리즘이 실행되는 횟수이다. 

 

에포크 수가 너무 적으면 모델이 데이터에서 충분히 학습하지 못할 수 있고, 너무 많으면 오버피팅(과적합)의 위험이 있다.

배치 크기(batch size)

배치 크기는 한 번의 학습 단계에서 사용되는 샘플의 수이다.

 

배치 크기가 크면 학습은 안정적이지만 메모리 요구량이 증가하고, 배치 크기가 작으면 학습이 불안정해질 수 있지만 더 빠른 업데이트가 가능하다.

정규화 매개변수(regularization parameter)

정규화는 모델의 복잡성을 제어하여 오버피팅을 방지하는 기법입니다. 정규화 매개변수는 이 정규화의 강도를 결정한다.

커널(kernel) 크기, 필터 수

특히 컨볼루션 신경망(CNN)에서 사용되는 하이퍼파라미터로, 이미지의 특징을 추출하는 데 사용되는 필터의 크기와 수량을 의미한다.

 

 

 

하이퍼 파라미터 튜닝 방법

하이퍼파라미터 튜닝은 모델의 성능을 크게 향상시킬 수 있으며, 모델의 특성과 데이터의 복잡성에 따라 최적의 하이퍼파라미터 세트가 달라진다.

그리드 탐색(Grid Search)

사전에 정의된 하이퍼파라미터의 그리드를 생성하고, 가능한 모든 조합에 대해 모델을 학습시켜 최적의 조합을 찾는다.

랜덤 탐색(Random Search)

하이퍼파라미터의 범위를 정의하고, 그 범위 내에서 무작위로 조합을 선택하여 모델을 학습시켜 최적의 조합을 찾는다.

베이지안 최적화(Bayesian Optimization)

하이퍼파라미터의 성능을 모델링하여, 이전의 시도를 바탕으로 다음에 시도할 가장 유망한 하이퍼파라미터를 예측한다.