AI51 [용어정리] 자연어 용어 정리 [자연어 용어 정리] 자연어 용어 인퍼런스(inference) 학습을 마친 모델로 실제 과제를 수행하는 행위나 그 과정 모델을 실전에 투입하는 것 ClassificationDataset 클래스 인스턴스들은 input_ids, attention_mask, token_type_ids, label 4가지 필드를 가리킨다. Random Seed 난수 생성 알고리즘을 실행하기 위해 쓰는 수 자연어 논문 추천 1. RoBERTa https://arxiv.org/abs/1907.11692 RoBERTa: A Robustly Optimized BERT Pretraining Approach Language model pretraining has led to significant performance gains but c.. 2024. 2. 7. [용어정리] 문서 분류 모델, 감성 분석 [자연어 용어정리] 문서 분류 모델, 감성 분석 문서 분류(document classification) 문서가 주어졌을 때 해당 문서의 범주를 분류하는 과제 영화 리뷰가 긍정/부정 등 어떤 극성을 가지는지 분류하는 작업이 대표적이다. NSMC 네이버 영화 리뷰 말뭉치 BERT 모델의 특징 세그먼트 정보를 입력하는 건 BERT 모델의 특징입니다. BERT 모델 프리트레인 과제는 '빈칸 맞히기' 외에 '이어진 문서인지 맞히기'도 있습니다. 문서 2개를 입력하고 2개의 문서가 이어진 것인지, 아닌지를 분류하는 과정에서 프리트레인을 수행합니다. BERT의 세그먼트 정보는 첫 번째 문서에 해당하는 토큰 시퀀스가 0, 두 번째 문서의 토큰 시퀀스가 1이 되도록 만듭니다. SequentialSampler 평가용 데이.. 2024. 2. 6. [용어정리]GPT와 BERT 비교 [자연어 용어정리]GPT와 BERT 비교하기 BERT와 GPT GPT는 언어 모델입니다. 이전 단어들이 주어졌을 때 다음 단어가 무엇인지 맞히는 과정에서 프리트레인 합니다. 문장 왼쪽부터 오른쪽으로 순차적으로 계산한다는 점에서 일방향(unidirectional)입니다. BERT는 마스크 언어 모델입니다. 문장 중간에 빈칸을 만들고 해당 빈칸에 어떤 단어가 적절할지 맞히는 과정에서 프리트레인합니다. 빈칸 앞뒤 문맥을 모두 살필 수 있다는 점에서 양방향(bidirectional) 성격을 가집니다. GPT는 문장 생성에, BERT는 문장의 의미를 추출하는 데 강점을 가집니다. 또한 트랜스포머에서 BERT는 인코더, GPT는 디코더만 취해 사용하는 것도 다릅니다. GPT의 구조 GPT는 트랜스포머에서 인코더를 .. 2024. 2. 4. [용어정리] 언어 모델, 셀프 어텐션, GPT, 벡터 [자연어 용어정리] 언어 모델, 셀프 어텐션, GPT, 벡터 언어 모델(language model) 단어 시퀀스에 확률을 부여하는 모델입니다. 다시 말해 시퀀스를 입력 받아 해당 시퀀스가 얼마나 그럴듯한지 확률을 출력하는 모델입니다. 이전 단어를이 주어졌을 때 다음 단어가 나타날 확률을 부여하는 모델 순방향 언어 모델 문장 앞부터 뒤로, 사람이 이해하는 순서대로 계산하는 모델을 순방향 언어 모델이라고 합니다. GPT, ELMo 모델이 이런 방식으로 프리트레인을 수행합니다. 역방향 언어 모델 문장 뒤부터 앞으로 계산하는 모델입니다. ELMo 같은 모델이 이런 방식으로 프리트레인을 수행합니다. ( ELMo 모델은 순방향, 역방향을 모두 활용합니다) 마스크 언어 모델 학습 대상 문장에 빈칸을 만들어 놓고 해당.. 2024. 2. 2. 이전 1 2 3 4 5 6 7 8 ··· 13 다음 728x90
