[용어 정리] 딥러닝 입문

[용어 정리] 딥러닝 입문

 

1. 모듈 

파이토치에서 모듈은 신경망을 구성하는 기본 객체이다.

모듈에는 구성요소를 정의하는 __init__() 함수와 순전파의 동작을 정의하는 forward() 함수가 있다.

 

 

2. 신경망 

간단한 신경망은 nn.Sequnetial, 복잡한 신경망은 nn.Module을 이용한다.

 

 

3. MSE(평균 제곱 오차) 

MSE(평균 제곱 오차)는 값의 차이의 제곱의 평균, CE(크로스 엔트로피)는 두 확률 분포의 차이이다.

회귀는 MSE, 분류는 CE 손실을 이용한다.

 

 

4. 다중분류 

신경망의 입력으로 여러 범주로 분류하는 알고리즘

 

 

5. 피처 

신경망의 입력으로 들어오는 값으로 데이터가 갖고 있는 특징

말 그대로 특징이라고 부름

 

 

6. 배치 

데이터셋의 일부로 신경망의 입력으로 들어가는 단위,

에포크는 전체 데이터를 모두 한 번씩 사용했을 때의 단위

이터레이션은 하나의 에포크에 들어 있는 배치 수이다.

 

 

7. 최적화 알고리즘

최적화 알고리즘은 역전파된 기울기를 이용해 가중치를 수정

Adam은 모멘텀과 RMSprop을 섞어놓은 가장 흔하게 사용되는 최적화 알고리즘이다.

모멘텀은 기울기를 계산할 때 관성을 고려하는 것이고,

RMSprop은 이동평균을 이용해 이전 기울기보다 현재의 기울기에 더 가중치를 두는 알고리즘이다.

---

파이토치의 인공 신경망

 

파이토치는 딥러닝에 사용되는 대부분의 신경망을 torch.nn 모듈에 모아놨습니다.

층은 nn.Module 객체를 상속받아 정의되고, 층이 쌓이면 딥러닝 모델이 완성됩니다.

 

**모델 : 딥러닝에서는 인공 신경망과 같은 의미. 일반적으로 딥러닝 신경망을 줄여서 딥러닝 모델이라고 함

 

파이토치로 학습할 때 신경 써야 하는 것

1. 우리가 학습시키고자 하는 모델

2. 모델의 학습 방식을 정하는 학습 루프

 

 

파이토치의 학습과정

1. 모델 정의 : 모델을 학습하기 위해 데이터를 불러온 다음, 원하는 만큼 반복해서 모델을 학습합니다.

2. 모델 순전파 : 불러온 데이터를 이용해 모델의 예측값을 계산합니다. 이때 데이터가 입력층에서 출력층까지 흘러가기 때문에 이 계산을 모델의 순전파를 계산한다고 합니다.

3. 오차 계산 : 모델의 예측값과 손실 함수를 이용해 오차를 계산합니다.

4. 오차 역전파(가중치 업데이트) : 오차를 역전파하고 모델의 가중치를 수정합니다.

* 원하는 만큼 반복

5. 학습 종료 : 원하는 만큼 반복했다면 학습을 종료합니다.