AI51 KULLM3 학습 코드 예제 안녕하세요 머킹입니다. 오늘은 KULLM3 학습 코드를 가지고 학습할 때 사용하는 라이브러리, 함수 등을 공부해보려고 합니다.import osimport torchimport pandas as pdfrom transformers import AutoTokenizer, AutoModelForCausalLM, Trainer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfigfrom datasets import Datasetfrom peft import get_peft_model, LoraConfig, TaskType# 데이터 로드 및 전처리df = pd.read_csv('data.csv')df = df.dropna(subset=['.. 2024. 8. 19. [RAG 실습] GPT-4 + RAG 와 Fine-tuning 모델 + RAG 비교 [RAG 실습] GPT-4 + RAG 와 Fine-tuning 모델 + RAG 비교 안녕하세요 머킹입니다.요즘 RAG를 정말 열심히 하고 있는데요. RAG를 하면서 느끼는 점이 복잡한 query를 잘 이해하는게 정말 중요하겠더라구요.그리고 마냥 RAG 를 하는 것 보단 그래도 파인튜닝한 모델에 RAG를 하는게 좋다.. 라는 생각이 들어서 해보고 있는데 갑자기 진짜 더 좋을까? 라는 고민이 들었습니다. GPT는 너무 뛰어난 성능을 가지고 있기 때문에굳이 파인튜닝을 시켜서 붙여야할까... 그런 고민들이 드는 요즘입니다. 그래서 두 개의 코드를 직접 해보면서 비교해보고자 합니다. 답변 비교 GPT 4.0 + RAG 답변입니다. 굉장히 깔끔하게 잘 뽑아주었습니다. 그럼 Fine-tuning model + .. 2024. 8. 16. [자연어 용어 정리]sentence generation, prompt [자연어 용어 정리]sentence generation, prompt 안녕하세요 머킹입니다. 이래저래 현생에 치여 개발을 살짝 놓게 되었네요. 정말 꾸준히 무언가를 하는건 어려운 것 같습니다. 그래도 다시 열심히 해보겠습니다. 문장 생성(sentence generation) 문장을 만들어 내는 과제. 이전 단어들, 즉 컨텍스트가 주어졌을 때 다음 단어로 어떤 단어가 오는게 적절한지 분류하는 것 문장 생성 과제에서 모델의 입력은 컨텍스트, 출력은 컨텍스트 다음 토큰의 등장확률이 됩니다. 문장 생성 방식 1. 컨텍스트를 모델에 입력에 다음 토큰 확률 즉, p(w|context)를 출력한 뒤 다음 토큰을 선택합니다. 2. 기존 컨텍스트에 (1)에서 선택한 다음 토큰을 이어붙인 새로운 컨텍스트를 모델에 입력해서.. 2024. 3. 2. [용어정리]개체명 인식 모델, 시퀀스 레이블링, 시퀀스 데이터 [자연어 용어정리]개체명 인식 모델, 시퀀스 레이블링, 시퀀스 데이터 개체명 인식(named entity recognition) 문장을 토큰화 한 뒤 토큰 각각에 인명, 지명, 기관명 등 개체명 태그를 붙여 주는 과제 개체명 태그 수와 종류는 데이터를 제작할 때 자유롭게 정할 수 있습니다. 시퀀스 레이블링의 댚 과제인 개체명 인식 모델의 시퀀스 레이블링은 개별 입력 토큰 각각의 범주를 가려낸다는 점에서 차이가 있습니다. 범주 수가 m개이고 입력 토큰이 n개일 때 문서 분류, 문장 쌍 분류 모델 출력은 m차원의 확률 벡터 1개입니다. 반면 시퀀스 레이블링은 m차원 확률 벡터가 n개 만들어집니다. 방법 : 문서 분류 입력 : 문서(혹은 문장) 1개 출력 : 토큰 각각의 범주 확률 대표 과제 : 개체명 인식 2024. 2. 12. 이전 1 2 3 4 5 6 7 ··· 13 다음 728x90
