분류 전체보기135 'Cuda out of Memory' Error 해결하기 [에러] 'Cuda out of Memory' Error 해결하기 안녕하세요 머킹입니다.오늘은 모델 학습 중에 메모리를 관리하는 방법에 대해서 알아보겠습니다.저는 종종 Cuda out of Memory를 마주하게 되는데 여러분들은 어떠신가요?GPU 메모리 관리의 중요성과 최적화 기법GPU 메모리 관리에 대한 이해와 적절한 최적화는 대형 모델을 학습하는 데 있어서 매우 중요합니다.특히, PyTorch를 사용한 딥러닝 작업에서는 GPU 메모리 부족으로 인한 오류(CUDA out of memory)가빈번하게 발생할 수 있습니다. 1. PYTORCH_CUDA_ALLOC_CONF 환경 변수 설정PyTorch는 GPU 메모리를 관리하기 위해 PYTORCH_CUDA_ALLOC_CONF라는 환경 변수를 제공합니다... 2024. 8. 22. Transformer 모델 학습 중 발생하는 --load_best_model_at_end 에러: 원인과 해결 방법 1. Transformer 모델 학습 중 발생하는 --load_best_model_at_end 에러: 원인과 해결 방법 2. "element 0 of tensors does not require grad and does not have a grad_fn" 에러 해결 방법 Transformer 모델을 학습할 때, 모델의 성능을 모니터링하고, 최적의 모델을 저장하는 것은 매우 중요한 과정입니다.이를 위해 Hugging Face의 transformers 라이브러리는 --load_best_model_at_end 옵션을 제공합니다. 그러나 이 옵션을 사용할 때, ValueError: --load_best_model_at_end requires the saving steps to be a round multipl.. 2024. 8. 20. KULLM3 학습 코드 예제 안녕하세요 머킹입니다. 오늘은 KULLM3 학습 코드를 가지고 학습할 때 사용하는 라이브러리, 함수 등을 공부해보려고 합니다.import osimport torchimport pandas as pdfrom transformers import AutoTokenizer, AutoModelForCausalLM, Trainer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfigfrom datasets import Datasetfrom peft import get_peft_model, LoraConfig, TaskType# 데이터 로드 및 전처리df = pd.read_csv('data.csv')df = df.dropna(subset=['.. 2024. 8. 19. [RAG 실습] GPT-4 + RAG 와 Fine-tuning 모델 + RAG 비교 [RAG 실습] GPT-4 + RAG 와 Fine-tuning 모델 + RAG 비교 안녕하세요 머킹입니다.요즘 RAG를 정말 열심히 하고 있는데요. RAG를 하면서 느끼는 점이 복잡한 query를 잘 이해하는게 정말 중요하겠더라구요.그리고 마냥 RAG 를 하는 것 보단 그래도 파인튜닝한 모델에 RAG를 하는게 좋다.. 라는 생각이 들어서 해보고 있는데 갑자기 진짜 더 좋을까? 라는 고민이 들었습니다. GPT는 너무 뛰어난 성능을 가지고 있기 때문에굳이 파인튜닝을 시켜서 붙여야할까... 그런 고민들이 드는 요즘입니다. 그래서 두 개의 코드를 직접 해보면서 비교해보고자 합니다. 답변 비교 GPT 4.0 + RAG 답변입니다. 굉장히 깔끔하게 잘 뽑아주었습니다. 그럼 Fine-tuning model + .. 2024. 8. 16. 이전 1 2 3 4 5 6 7 8 ··· 34 다음 728x90
