[용어정리]GPT와 BERT 비교

[자연어 용어정리]GPT와 BERT 비교하기

 

BERT와 GPT

GPT는 언어 모델입니다. 이전 단어들이 주어졌을 때 다음 단어가 무엇인지 맞히는 과정에서 프리트레인 합니다.

문장 왼쪽부터 오른쪽으로 순차적으로 계산한다는 점에서 일방향(unidirectional)입니다.

 

BERT는 마스크 언어 모델입니다.

문장 중간에 빈칸을 만들고 해당 빈칸에 어떤 단어가 적절할지 맞히는 과정에서 프리트레인합니다.

빈칸 앞뒤 문맥을 모두 살필 수 있다는 점에서 양방향(bidirectional) 성격을 가집니다.

 

GPT는 문장 생성에, BERT는 문장의 의미를 추출하는 데 강점을 가집니다.

또한 트랜스포머에서 BERT는 인코더, GPT는 디코더만 취해 사용하는 것도 다릅니다.

 

GPT의 구조

GPT는 트랜스포머에서 인코더를 제외하고 디코더만 사용합니다.

 

 

BERT의 구조

BERT는 트랜스포머에서 디코더를 제외하고 인코더만 사용합니다.

---

파인튜닝(fine-tuning)

프리트레인을 마친 BERT와 그 위의 작은 모듈을 포함한 전체 모델을 문서 분류, 개체명 인식 등 

다운스트림 데이터로 업데이트하는 과정을 파인튜닝이라고 합니다.