[용어정리] 문서 분류 모델, 감성 분석

[자연어 용어정리] 문서 분류 모델, 감성 분석

 

문서 분류(document classification)

문서가 주어졌을 때 해당 문서의 범주를 분류하는 과제

영화 리뷰가 긍정/부정 등 어떤 극성을 가지는지 분류하는 작업이 대표적이다.

 

 

NSMC

네이버 영화 리뷰 말뭉치

 

 

BERT 모델의 특징

세그먼트 정보를 입력하는 건 BERT 모델의 특징입니다.

BERT 모델 프리트레인 과제는 '빈칸 맞히기' 외에 '이어진 문서인지 맞히기'도 있습니다.

문서 2개를 입력하고 2개의 문서가 이어진 것인지, 아닌지를 분류하는 과정에서

프리트레인을 수행합니다.

 

BERT의 세그먼트 정보는 첫 번째 문서에 해당하는 토큰 시퀀스가 0,

두 번째 문서의 토큰 시퀀스가 1이 되도록 만듭니다.

 

 

SequentialSampler

평가용 데이터 로더는 학습용 데이터 로더와 달리 SequentialSampler를 사용합니다.

SequentialSampler는 인스턴스를 batch_size 만큼 순서대로 추출하는 역할을 합니다.

학습 때는 배치 구성을 랜덤으로 하는게 좋지만, 평가할 때는 평가용 데이터 전부를 사용하므로 

굳이 랜덤으로 구성할 이유가 없어서 SequentialSampler를 사용합니다.

 

 

learning rate scheduler

학습이 진행되는 동안 점차 러닝 레이트를 줄여 세밀하게 탐색하면 좀 더 좋은 모델을 만들 수 있습니다.

이 역할을 하는 것이 러닝 레이트 스케줄러 입니다.

ExponentialLR은 현재 epoch의 러닝 레이트를 '이전 epoch learning rate X gamma'로 스케줄링 합니다.