Bull

https://codcost.tistory.com/181 [ML] Support Vector Machine(SVM)본 포스팅은 공돌이 수학노트님의 정리 글을 제가 다시 이해하는 것을 바탕으로 정리하였고,원문에서 공돌이 수학노트님은 MIT의 Patrick H. Winston 교수님의 강의로 정리하였다는 것을 밝힙니다.라codcost.tistory.com

Pre-trained Model사전 학습된 모델이란 대규모 데이터 세트로 사전에 학습된 모델을 의미한다. 사전 학습된 모델 자체를 현재 시스템에 적용하거나 사전 학습된 임베딩 벡터를 활용해 모델을 구성한다. 모델을 성능을 끌어낼 수 있다. -> 늑대와 사자를 구별할 때 개와 고양이로 학습된 모델을 활용해서 모델을 구축할 수 있음.모델 개발 프로세스 가속화 가능전이 학습, 백본 네트워크로 사용됨.백본백본은 입력 데이터에서 특징을 추출해 최종 분류기에 전달하는 딥러닝 모델이나 일부를 말함. VGG 같은 경우 고차원 특징 벡터로 변환해 이미지 분류 작업을 돕는 특징 추출기의 역할로 사용할 수 있다는 점에서 백본이라는 용어를 사용함. 백본 네트워크는 특징을 추출하므로 노이즈와 불필요한 특정 제거 효과를 얻을 수..

transform = transforms.Compose( [ transforms.Resize((512, 512)), Mixup( target=Image.open("../datasets/images/dog.jpg"), scale=(512, 512), alpha=0.5, beta=0.5 ) ])데이터 증강데이터가 가진 고유한 특징을 유지한 채 변형하거나 추가하여 데이터셋을 인위적을 늘린다. 데이터 수집은 제한된 상황에서 얻기 어려울 수 있음. 그래서 기존의 데이터를 증강시켜 새로운 데이터를 추출하는 방식.기존 데이터의 형질이 유지되므로 모델 분산과 편향을 줄임너무 많은 노이즈가 추가..

과대적합과 과소적합과대적합은 모델이 훈련 데이터에서 우수하게 예측하지만 새로운 데이터에서 제대로 예측하지 못해 오차가 크게 발생하는 것을 의미한다. 즉 모델이 훈련 데이터에만 적합하게 학습되어 새로운 데이터에 대해서는 성능이 저하되는 경우를 일컫는다.과소적합은 과대적합 문제점처럼 입력된 데이터를 잘 예측할 수 없는 상태를 의미한다. 하지만 과대적합과는 다르게 훈련 데이터에서도 좋지 않고 새로운 데이터에서도 좋지 않다.모델이 훈련 데이터와 새로운 데이터에 대해서도 우수한 성능을 모이려면 낮은 편향과 낮은 분산을 가져야 한다. 분산이 높으면 추정치에 대한 변동 폭이 커지며 데이터가 갖고 있는 노이즈까지 학습 과정에 포함돼 과대적합 문제를 발생시킨다.편향이 높으면 추정치가 항상 일정한 값을 갖게 될 확률이 높..

가중치 초기화가중치 초기화는 모델의 초기 가중치 값을 설정하는 것을 말한다. 모델의 배개변수에 적절한 초깃값을 설정하면 기울기 폭주나 기울기 소실문제를 완화할 수 있다. 또한 모델의 수렴 속도를 향상시켜 전반적인 학습 프로세스를 개선할 수 있다.상수 초기화상수 초기화는 초기 가중치 값을 모두 같은 상수 값으로 초기화한다. 그 값은 0, 1, 특정 값, 단위 행렬, 디렉 델타 함수 등이 올 수 있다.$$ W=a $$$$\mathbf{W} =\begin{bmatrix}0 & 0 & 0 \\0 & 0 & 0 \\0 & 0 & 0\end{bmatrix}$$상수 초기화는 구현이 간단하고 계산 비용이 거의 들지 않지만 잘 사용하지 않는다. 모든 가중치의 초기값을 같은 값으로 초기화하면 배열 구조의 가중치에서 문제가..