[자연어 용어 정리]sentence generation, prompt

[자연어 용어 정리]sentence generation, prompt

 

안녕하세요 머킹입니다.

이래저래 현생에 치여 개발을 살짝 놓게 되었네요.

 

정말 꾸준히 무언가를 하는건 어려운 것 같습니다.

그래도 다시 열심히 해보겠습니다.

 

---

문장 생성(sentence generation)

문장을 만들어 내는 과제.

이전 단어들, 즉 컨텍스트가 주어졌을 때 다음 단어로 어떤 단어가 오는게 적절한지 분류하는 것

문장 생성 과제에서 모델의 입력은 컨텍스트, 출력은 컨텍스트 다음 토큰의 등장확률이 됩니다.

 

 

문장 생성 방식

1. 컨텍스트를 모델에 입력에 다음 토큰 확률 즉, p(w|context)를 출력한 뒤 다음 토큰을 선택합니다.

2. 기존 컨텍스트에 (1)에서 선택한 다음 토큰을 이어붙인 새로운 컨텍스트를 모델에 입력해서 다음 토큰 확률 분포,

즉, p(w|new context)를 추출하고 또 다시 그 다음 토큰을 선택합니다.

3. (2)를 반복해 다음 토큰을 계속 생성해 나갑니다.