728x90 반응형 정규화2 [딥러닝] 딥러닝 모델의 초기화와 정규화 기법 1. 가중치 초기화 (Weight Initialization)1.1 가중치 초기화의 필요성딥러닝 모델의 학습은 최적화 문제를 해결하는 과정이다. 이때, 가중치 초기화는 손실 함수의 출발 위치를 결정하며, 초기화 방식에 따라 학습의 안정성과 수렴 속도에 큰 영향을 미친다.1.2 초기화 방법임의의 상수 초기화: 가중치를 모두 0이나 작은 상수로 설정하면 학습이 제대로 이루어지지 않는다.Gaussian 분포 초기화: 작은 값(N(0,0.01))은 vanishing 문제를, 큰 값(N(0,1))은 exploding 문제를 유발할 수 있다.Xavier 초기화: Sigmoid, tanh 계열 활성화 함수에 적합, 입력과 출력의 분산을 같게 유지.He 초기화: ReLU 계열 활성화 함수에 최적화된 방식, 입력의 분산.. 2025. 6. 1. [데이터베이스 관리론] 정규화에 관하여 * 정규화함수적 종속(functional dependency) 관계를 이용하여 삽입, 삭제, 변경 시 발생할 수 있는 이상 현상(anomaly) 제거하여 관계 데이터 모델 설계의 질을 높이기 위한 기법이상 현상을 없애기 위해서 Table을 분리하고 join 하는 과정을 거쳤지만 Side Effect으로 시간이 오래걸리는 현상이 발생 함 * 함수적 종속(functional dependency)- 속성 X의 값이 속성 Y의 값을 결정하면 Y는 X에 함수적 종속- 즉, X의 값을 알면 Y의 값도 알 수 있음 예시) 학번 → 전공 컴퓨터_일련 번호 → 기억_장치_용량(학번, 과목명) → 점수 * Determinant 형태학번기숙사월세100월평관320150아주관.. 2024. 4. 1. 이전 1 다음 728x90 반응형
