AI37 [용어정리]텍스트 딥러닝 용어 Attention, LSTM [딥러닝 용어 정리] 텍스트 처리 용어 LSTM(Long short term memory) - RNN의 발전 형태로 장기 기억을 담당하는 셀 상태와 은닉 상태를 갖는 신경망입니다. 시계열 길이가 길어질수록 RNN을 적용하기 어렵기 때문에 RNN의 단점을 극복한 모델이 LSTM입니다. 망각 게이트, 입력게이트, 출력 게이트를 이용해 이전 시점의 은닉 상태를 현시점에 반영하는 알고리즘 망각 게이트 : 셀 상태에 저장된 과거의 정보를 사용할 것인가에 대한 여부를 결정합니다. 입력 게이트 : 셀 상태에 현재 정보를 덮어쓸 것인가를 결정합니다. 출력 게이트 : 셀 상태와 현재 정보를 합쳐 현재의 은닉 상태를 결정합니다. BOW - 모든 단어를 겹치지 않도록 고유 번호로 나타낸 집합입니다. 희소 표현 / 밀집 표현.. 2024. 1. 22. [용어 정리] Let the be color 모델 [딥러닝 용어 정리] Let the be color 모델 Let the be color 모델 구조 로 레벨(low-level) : 이미지의 국소적인 특징을 추출 글로벌 레벨(global-level) : 이미지의 전체적인 특징을 추출 미들 레벨(mid-level) : 중간 크기의 특징을 추출 컬러라이제이션 신경망(colorization network) : 칠해야 되는 색을 학습 스케일링 : 흑백 이미지 크기가 모델의 입력 크기에 맞게 조절됩니다. 로 레벨 특징 추출기는 이미지를 3x3 커널 합성곱층을 쌓아서 만듭니다. 또한 미들 레벨 특징 추출기와 글로벌 레벨 특징 추출기는 같은 입력을 가집니다. Let there be color 모델 구조 장단점 장점 - 이미지에 들어 있는 특징을 크기별로 추출할 수 있.. 2024. 1. 19. [용어 정리] U-Net, 이미지 처리 딥러닝 용어 [딥러닝 용어 정리] U-Net, 이미지 처리 딥러닝 용어 이미지 디노이징 모델 - 정보를 압축하는 인코더와 정보로부터 이미지를 복원하는 디코더로 구성 U-Net은 인코더의 출력을 디코더의 입력으로 사용함으로서 정보를 복원할 때 추출된 특징을 참고할 수 있습니다. 인코더-디코더(Encoder-Decoder) - 특징을 추출하는 인코더와 특징으로부터 정보를 복원하는 디코더를 갖는 형식 U-Net의 구조 1. 이미지를 합성곱을 이용해 특징 추출 2. 압축된 정보를 디코더에서 복원되어 입력과 같은 크기의 출력 생성 (업샘플링층) 3. 복원된 특징은 합성곱을 이용해 추출된 특징과 합쳐짐 (원래의 특징과 복원된 특징을 합침) 업샘플링(Upsampling) - 이미지에서 추출한 특징을 이용해 이미지를 복원하는 과정.. 2024. 1. 18. [용어정리] 이미지 처리 딥러닝 [딥러닝 용어 정리] 이미지 처리 딥러닝 ResNet 스킵 구조를 이용한 CNN 신경망 기울기 소실(Gradient vanishing) 은닉층이 깊어짐에 따라 입력층에 가까운 가중치들의 기울기가 0에 가까워지는 현상을 의미합니다. 기울기가 0이 되면 가중치가 더 이상 업데이트되지 않기 때문에 학습이 이루어지지 않습니다. 배치 정규화 배치 간의 차이를 정규화 해주므로 더 안정되게 학습할 수 있습니다. 모델의 입력으로 들어오는 배치의 값의 분포가 서로 다르면 배치마다 출력 값의 분포 또한 달라지기 때문에 학습에 악영향을 미칩니다. nn.Sequential 커스터마이징이 불가능하지만 forward() 메서드를 직접 작성할 필요가 없습니다. 하지만 신경망 커스터마이징이 되지 않기 때문에 복잡한 신경망에는 nn... 2024. 1. 16. 이전 1 2 3 4 5 6 7 ··· 10 다음 728x90
