Bull

활성화 함수활성화함수는 인공 신경망에서 사용되는 은닉층을 활성화하기 위한 함수이다. 뉴런의 출력값을 선형에서 비선형으로 변환한다. 즉 활성화 함수는 네트워크가 복잡한 데이터의 패턴을 기반으로 학습하고 결정을 할 수 있도록 한다. 활성화 함수는 비선형 구조를 가져 역전파 과정에서 미분값을 통해 학습이 진행될 수 있게 한다. 만약 활성화 함수가 선형구조라면 미분 과정에서 항상 상수가 나오기 때문에 학습을 진행하기가 어렵다. 활성화 함수는 정규화 과정으로 볼 수 있다.이진 분류이진 분류는 규칙에 따라 두 그룹으로 분류한다. 예를 들어 0에서 1사이의 값들 중 0.5를 임계값으로 정하여 0.5보다 작으면 false, 크면 true를 결정한다. 이처럼 0에서 1 값을 갖게 하기 위해 시그모이드와 같은 함수가 사용..

데이터 세트는 데이터의 집합을 의미하며 입력값과 결과 값에 대한 정보를 제공하거나 일련의 데이터 묶음을 전달한다. 모듈화, 재사용성, 가독성 등을 향상시키기 위해 데이터 세트와 로더를 사용한다.데이터 세트데이터 세트는 학습에 필요한 데이터 샘플을 정제하고 정답을 저장하는 기능을 제공한다. 초기화 메소드(__init__), 호출 메소드(__getitem__), 길이 반환 메소드(__len__) 등을 재정의하여 사용한다.데이터 로더데이터 로더는데이터 세트에 저장된 데이터를 어떤 방식으로 불러와 활용할 지 정의한다. 배치 크기(batch size), 데이터 순서 변경(shuffle), 데이터 로드 프로세스 수(num_workers) 등의 기능을 제공한다. 배치는 데이터의 개수가 많아 에폭에서 모든 데이터를 올..

최적화 (Optimization)최적화란 목적함수와 결과값의 오차를 최적화하는 변수를 찾는 알고리즘이다. 손실 함수를 통해 최적의 오차를 찾을 수 있다.선형회귀 그래프예를 들어, 어떤 데이터를 통해 $y=ax+b$ 라는 1차함수를 예측했다고 해보자. 가장 최적의 선형회귀 그래프를 찾는 공식은 정해져 선형회귀 그래프가 아닌 경우도 분명 존재한다. 여기서 $a$를 가중치 $b$를 편향이라고 한다. 최적의 오차를 모른다고 가정했을 때 이 $b$는 그대로 두고 $a$를 $a$의 값에 대해서 오차와 가중치에 대한 그래프가 나온다. $b$를 건드리지 않는 이유가 궁금했지만 책에 설명은 나오지 않는다. 추측으로는 $b$도 건드리긴 하는데 책의 간결성을 위해 $a$ 값에 대해서만 설명한 게 아닐까 싶다. 정확한 내용은..

손실 함수단일 샘플의 실젯값과 예측값의 차이가 발생했을 때 오차가 얼마인지 계산하는 함수이다. 인공 신경망은 이 함수를 통해 계산된 오찻값을 최소화하여 정확도를 높이는 방법으로 학습이 진행된다. 손실함수, 목적함수, 비용함수 같은 단어이다. 자세히 비교하자면 손실함수 ⊂ 비용함수 ⊂ 목적 함수이다. 기본적인 개념으로 선형회귀의 $y$값과 $\hat{y}$ 을 생각하면 된다.제곱 오차$$ SE=(Y_i - \hat{Y_i})^2 $$오차는 방향보다는 크기가 중요하기 때문에 양수로 만들어주기 위해서 제곱을 한다. 절대값도 있겠지만 제곱이 더 편하기 때문이다. 그리고 제곱을 통해서 더 두드러지게 확대시키기 때문에 오차의 간극을 빠르게 확인할 수 있다.오차 제곱합$$ SSE=\sum^n_{i=1}(Y_i - \..

PCA (Principal Component Analysis)PCA(Principal Component Analysis, 주성분 분석)는 고차원 데이터를 저차원으로 변환하면서 데이터의 주요 변동성을 최대한 보존하는 선형 변환 기법입니다. PCA는 데이터의 분산을 가장 잘 설명하는 새로운 축(주성분)을 찾아내어 데이터를 이 새로운 축으로 투영함으로써 차원을 축소하거나 데이터의 구조를 이해하는 데 사용됩니다. 고차원 데이터를 저차원으로 압축하여 저장 공간을 절약하기 위해 데이터 압축을 하거나 데이터의 주요 변동성을 유지하면서 노이즈를 줄이고 시각화, 주요 특성 추출을 위해 사용합니다.PCA 수행 예제원본 데이터학생수학과학영어A809085B858580C788882D9287901. 평균 중심화각 과목의 평균을 ..

본 포스팅은 공돌이 수학노트님의 정리 글을 제가 다시 이해하는 것을 바탕으로 정리하였고,원문에서 공돌이 수학노트님은 MIT의 Patrick H. Winston 교수님의 강의로 정리하였다는 것을 밝힙니다.라그랑주 승수법에 대한 이해라그랑주 승수법은 최적화 문제에서 최대 또는 최소값을 찾기 위해 사용되는 수학적 기법입니다. 이 방법은 목적 함수와 제약 조건을 동시에 고려하여 최적의 해를 찾는 데 유용합니다. 라그랑주 승수법의 기본 개념과 사용법을 살펴보겠습니다.1. 기본 개념라그랑주 승수법은 목적 함수 $f(x, y)$와 제약 조건 $g(x, y) = 0$이 주어졌을 때, 이 두 조건을 동시에 만족하는 점에서 목적 함수의 최대값 또는 최소값을 찾는 방법입니다. 목적 함수는 우리가 찾는 함수이므로 어떤 함수인..

개념 하이퍼파라미터는 기계학습 알고리즘의 성능을 조절하는 데 사용되는 외부 설정 값이다. 즉, 모델을 정할 때 우리가 입력하는 값들이라고 생각하면 쉽다. 이러한 하이퍼파라미터는 학습 과정에 직접적으로 관여하지 않고, 대신 알고리즘의 구조(예: 복잡성)와 학습 과정(예: 속도)을 조절하다. 기계학습 모델의 성능을 최적화하기 위해서는 적절한 하이퍼파라미터를 선택하고 조절하는 과정이 필요하다. 이해가 잘 가지 않는다면 예시에 나온 키워드들을 하이퍼 파라미터라고 생각하는 게 좋다. (나도 잘 이해가지 않기 때문에 "예시에 나온것들이 하이퍼 파라미터구나" 정도로만 이해 중..) 하이퍼 파라미터 예시 학습률(learning rate) 학습률은 모델이 학습하는 속도를 결정한다. 너무 높으면 학습 과정에서 발산할 수 ..

개념 앙상블 기법은 여러 개의 학습 알고리즘을 조합하여 더 좋은 예측 성능을 얻기 위한 방법이다. 단일 모델만 사용할 때보다 더 안정적이고, 높은 성능을 달성할 수 있다. 즉, 한 명의 전문가 보다 일반인 여러명에서 더 좋은 결과를 낼 수 있다. 주요 Ensemble 알고리즘 종류 1. Bagging (Bootstrap Aggregating) 배깅(Bagging, Bootstrap Aggregating의 약자)은 복원 추출(즉, 한 번 선택된 샘플을 다시 선택할 수 있음)을 통해 여러 개의 데이터셋을 생성하고, 각각의 데이터셋에 대해 독립적으로 모델을 학습시킨 후, 그 결과를 통합하여 최종 결정을 내리는 방법이다. 배깅은 특히 결정 트리(Decision Tree)와 같이 높은 분산을 가지는 알고리즘의 과..

Confusion Matrix Model : Classification(분류) Confusion Matrix(혼동 행렬)은 분류 문제에서 모델의 성능을 평가하는 데 사용되는 테이블이다. 실제 값과 모델이 예측한 값을 기반으로 구성된다. 분류 모델이 각 클래스를 얼마나 잘 혹은 못 분류했는지를 보여준다. True Positive (TP) 모델이 긍정적인 클래스를 정확하게 긍정으로 예측한 경우의 수 True Negative (TN) 모델이 부정적인 클래스를 정확하게 부정으로 예측한 경우의 수 False Positive (FP) 모델이 부정적인 클래스를 잘못해서 긍정으로 예측한 경우의 수(Type I error라고도 불림) False Negative (FN) 모델이 긍정적인 클래스를 잘못해서 부정으로 예측한 ..