[용어 정리] Let the be color 모델

[딥러닝 용어 정리] Let the be color 모델

 

Let the be color 모델 구조

 

로 레벨(low-level) 

: 이미지의 국소적인 특징을 추출

 

글로벌 레벨(global-level)

: 이미지의 전체적인 특징을 추출

 

미들 레벨(mid-level)

: 중간 크기의 특징을 추출

 

컬러라이제이션 신경망(colorization network)

: 칠해야 되는 색을 학습

 

 

 

스케일링 : 흑백 이미지 크기가 모델의 입력 크기에 맞게 조절됩니다.

로 레벨 특징 추출기는 이미지를 3x3 커널 합성곱층을 쌓아서 만듭니다.

 

또한 미들 레벨 특징 추출기와 글로벌 레벨 특징 추출기는 같은 입력을 가집니다.

 

---

 

Let there be color 모델 구조 장단점

 

장점

- 이미지에 들어 있는 특징을 크기별로 추출할 수 있습니다.

- 중간 크기의 특징이 큰 크기의 특징을 전부 고려합니다.

 

단점

- 이미지 하나로 학습해야 하는 신경망이 많아서 학습에 많은 시간과 데이터가 필요합니다.

- 모델이 세분화되어, 학습이 잘 이루어지지 않은 경우 어디서 문제가 생겼는지 알아내기 어렵습니다.

 

 

---

Let there be color 모델 

색을 복원하려면 다양한 크기의 특징이 필요하므로 크고 작은 특징을 모두 추출해야 합니다.

먼저 로 레벨 특징 추출기를 정의합니다.

 

미들레벨 특징 추출기를 정의합니다.(중간 크기 특징)

글로벌 특징 추출기를 정의합니다.(크기가 큰 특징을 추출)

컬러라이제이션 신경망은 흑백 이미지에 색을 입히도록 학습되는 신경망입니다.

 

모델 전체를 정의합니다.

미들레벨 특징 추출기에서 글로벌 레벨 특징 추출기의 특징을 이용할 수 있도록

repeat()를 사용해 글로벌 레벨 특징을 미들 레벨 특징에 합칩니다.