728x90 반응형 모델설계(model design)1 [딥러닝] DNN 설계에 관한 핵심 내용들 1. DNN 설계의 핵심 원리입력 -> 은닉층(복수 가능) -> 출력층각 층에서는 아래와 같은 수식으로 이루어진다. 설계시 고려사항- 은닉층 수가 너무 많으면 과적합 발생- 출력층 활성함수는 문제 유형(분류/회귀)에 따라 선택 2. 활성함수 정리 및 문제점이름역할특징Sigmoid이진 분류용, 출력값(0~1)Gradient Vanishing 문제 발생-> 학습이 느려짐Tanh출력값 (-1~1), 중심이 0Sigmoid보다 학습 안정ReLU0이하는 0, 나머지는 그대로빠르고 간단하지만 죽은 뉴런 문제(dead neuron)Leaky ReLU음수도 작은 기울기 유지ReLU 개선 버전ELU, Swish비선형 표현력 + 부드러움성능 우수, AutoML에서 많이 사용Softmax다중 분류용, 확률로 변환출력값의 총.. 2025. 4. 14. 이전 1 다음 728x90 반응형
