728x90 반응형 은닉층(hidden layer)2 [딥러닝] DNN 설계에 관한 핵심 내용들 1. DNN 설계의 핵심 원리입력 -> 은닉층(복수 가능) -> 출력층각 층에서는 아래와 같은 수식으로 이루어진다. 설계시 고려사항- 은닉층 수가 너무 많으면 과적합 발생- 출력층 활성함수는 문제 유형(분류/회귀)에 따라 선택 2. 활성함수 정리 및 문제점이름역할특징Sigmoid이진 분류용, 출력값(0~1)Gradient Vanishing 문제 발생-> 학습이 느려짐Tanh출력값 (-1~1), 중심이 0Sigmoid보다 학습 안정ReLU0이하는 0, 나머지는 그대로빠르고 간단하지만 죽은 뉴런 문제(dead neuron)Leaky ReLU음수도 작은 기울기 유지ReLU 개선 버전ELU, Swish비선형 표현력 + 부드러움성능 우수, AutoML에서 많이 사용Softmax다중 분류용, 확률로 변환출력값의 총.. 2025. 4. 14. [딥러닝] DNN(Deep Neural Network)의 구조와 특징 1. DNN(Deep Neural Network) 핵심 개념- Feedforward Neural Network (순방향 신경망)데이터가 한 방향으로만 전달되는 구조 (입력 → 출력)Fully Connected : 모든 뉴런이 다음 층 뉴런과 연결 구성요소1) 입력층 (Input Layer) : 입력 데이터를 벡터로 변환해 전달2) 은닉층 (Hidden Layer) : 가중치 합 + 편향 -> 활성함수 적용3) 출력층 (Output Layer) : 문제 유형에 따라 다른 활성함수 사용 활성함수 종류1) Sigmoid : S자 형태, 확률 해석 가능 (이진 분류에 사용)2) Tanh : -1~1 출력3) ReLU : 0 이하 0, 그 외 그대로 통과 (비선형 표현 강함)4) Swish : x * sigmoi.. 2025. 4. 13. 이전 1 다음 728x90 반응형
