[용어정리] 이미지 처리 딥러닝

[딥러닝 용어 정리] 이미지 처리 딥러닝

 

ResNet 

스킵 구조를 이용한 CNN 신경망

 

 

기울기 소실(Gradient vanishing)

은닉층이 깊어짐에 따라 입력층에 가까운 가중치들의 기울기가 0에 가까워지는 현상을 의미합니다.

기울기가 0이 되면 가중치가 더 이상 업데이트되지 않기 때문에 학습이 이루어지지 않습니다.

 

 

배치 정규화

배치 간의 차이를 정규화 해주므로 더 안정되게 학습할 수 있습니다.

모델의 입력으로 들어오는 배치의 값의 분포가 서로 다르면 배치마다 출력 값의 분포 또한 달라지기 때문에

학습에 악영향을 미칩니다.

 

 

nn.Sequential

커스터마이징이 불가능하지만 forward() 메서드를 직접 작성할 필요가 없습니다.

하지만 신경망 커스터마이징이 되지 않기 때문에 복잡한 신경망에는 nn.Module을 이용합니다.

 

 

스킵 커넥션

은닉층을 거치지 않은 입력값과 은닉층의 결과를 더하는 구조를 의미합니다.

자기 자신을 미분하면 1이 나오기 때문에 신경망의 출력 부분에 입력을 더하는 방식으로 기울기를 최소 1로 확보하는 기법

 

 

평균 풀링

커널의 평균 값을 이용하는 풀링입니다.

---

 

ResNet의 장점과 단점

 

장점

- 층을 깊게 쌓을 수 있습니다

- VGG에 비해 학습이 안정적입니다

- 기울기소실 문제를 어느 정도 해결합니다

 

단점

- 가중치가 늘어나기 때문에 계산량이 많아집니다

- VGG에 비해 오버피팅이 일어나기 쉽습니다

 

이미지 분류, 세그멘테이션, 이미지 생성 등 합성곱을 이용하는 모든 곳에서 이용이 가능합니다.

스킵 커넥션은 텍스트 처리에도 사용할 수 있습니다.

 

---

RNN(recurrent neural network)

순환하는 인공 신경망

 

- 순서가 있는 데이터에 사용하기 좋다.

- 신경망 각 층은 한 시점을 가리키고 있음 

- 모든 시점에서의 출력은 다음 시점의 입력값과 합쳐져 가중치가 적용되고,

최종 출력값을 출력으로 하며, 출력층 이전의 출력을 은닉 상태라고 부름

 

장점 

- 이전 정보르르 현재 시점에서 이용하기 때문에 시간에 대한 정보를 추출할 수 있습니다

- 같은 가중치를 반복 사용하기 때문에 가중치 수가 비교적 적음

 

단점

- 같은 가중치를 여러 번 반복 사용하기 때문에 계산에 시간이 오래걸림

- 시계열이 길어질수록 앞의 정보가 점점 흐려짐

 

주가, 날씨, 텍스트 등 순서가 있는 데이터를 다룰 때 용이함