728x90 반응형 dropout1 [딥러닝] 딥러닝 모델의 초기화와 정규화 기법 1. 가중치 초기화 (Weight Initialization)1.1 가중치 초기화의 필요성딥러닝 모델의 학습은 최적화 문제를 해결하는 과정이다. 이때, 가중치 초기화는 손실 함수의 출발 위치를 결정하며, 초기화 방식에 따라 학습의 안정성과 수렴 속도에 큰 영향을 미친다.1.2 초기화 방법임의의 상수 초기화: 가중치를 모두 0이나 작은 상수로 설정하면 학습이 제대로 이루어지지 않는다.Gaussian 분포 초기화: 작은 값(N(0,0.01))은 vanishing 문제를, 큰 값(N(0,1))은 exploding 문제를 유발할 수 있다.Xavier 초기화: Sigmoid, tanh 계열 활성화 함수에 적합, 입력과 출력의 분산을 같게 유지.He 초기화: ReLU 계열 활성화 함수에 최적화된 방식, 입력의 분산.. 2025. 6. 1. 이전 1 다음 728x90 반응형
