[딥러닝] DNN 학습의 원리와 최적화 전략

1. 신경망 학습의 의미

정답(label)은 있지만 규칙은 주어지지 않음 → 신경망이 데이터를 보며 스스로 함수적 관계(mapping)를 학습

Neuron(가중치합 + 활성함수) → Layer → Network

 

2. 최적화란?

정답을 수학적으로 계산할 수 없을 때, 근사적으로 최선의 값을 찾는 방법

목적함수를 최소화/최대화
예: 식단 구성에서 비용 최소화 + 영양소 조건 만족

회귀 = 오차 최소화 / 분류 = 확률 차이 최소화

 

3. Gradient Descent (경사하강법)

손실 함수의 기울기 방향으로 이동하여 최솟값 탐색

 

4. Backpropagation Algorithm

Loss의 gradient를 출력 → 은닉 → 입력 방향으로 전달

Chain rule 이용 → 효율적인 미분 계산으로 가중치 업데이트

 

5. Dataset 구성과 분리

학습 데이터는 모집단을 대표하는 표본이어야 함

 

데이터 분할:

Training: 학습

Validation: 튜닝/모델 선택

Test: 최종 성능 확인

 

학습 방식:

Batch: 전체 데이터 한꺼번에 → 정확, 느림

Mini-batch: 일부 묶음 → 가장 실용적

SGD: 1개 샘플씩 → 빠르지만 불안정

 

6. Loss Function 정리

 

7. 모델 평가와 검증

k-fold Cross Validation:
데이터셋을 여러 조각으로 나누어 교차 평가 → 안정적인 성능 평가

 

Model Selection:

Validation 성능 기반으로 가장 좋은 모델 선택

오버피팅 방지에 중요

 

평가 지표:

RMSE, MAE (회귀)

Accuracy, Precision, Recall, F1 (분류)