AI51 파인튜닝된 모델을 활용한 RAG (Retrieval-Augmented Generation) 예제 안녕하세요 머킹입니다.KULLM3 + RAG 코드가 잘돼서 예제 코드를 만들었어요. 1. 예제 코드 import osimport torchimport pandas as pdfrom transformers import AutoTokenizer, AutoModelForCausalLMfrom sentence_transformers import SentenceTransformerimport faissimport numpy as npfrom rank_bm25 import BM25Okapifrom nltk.tokenize import word_tokenizeimport nltknltk.download('punkt')# 설정os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable.. 2024. 8. 26. Disk quota exceeded [error] Disk quota exceeded 디스크 쿼터란?디스크 쿼터(Quota)는 파일 시스템에서 사용자나 그룹이 사용할 수 있는 디스크 용량을 제한하는 기능입니다. 주로 여러 사용자가 하나의 서버나 파일 시스템을 공유할 때, 자원을 효율적으로 관리하고 공평하게 분배하기 위해 사용됩니다. 디스크 쿼터는 사용자가 할당된 용량을 초과하지 않도록 강제하는 역할을 하며, 설정된 용량을 초과할 경우 더 이상 데이터를 저장할 수 없게 됩니다. 디스크 쿼터의 구성 요소:Soft Limit: 사용자가 설정된 용량에 접근했을 때 경고를 보내지만, 아직 데이터 저장이 가능한 상태입니다. 일정 시간이 지나도 이 상태가 유지되면 경고가 무시될 수 있습니다.Hard Limit: 사용자가 절대 초과할 수 없는 최대 용량.. 2024. 8. 23. 'Cuda out of Memory' Error 해결하기 [에러] 'Cuda out of Memory' Error 해결하기 안녕하세요 머킹입니다.오늘은 모델 학습 중에 메모리를 관리하는 방법에 대해서 알아보겠습니다.저는 종종 Cuda out of Memory를 마주하게 되는데 여러분들은 어떠신가요?GPU 메모리 관리의 중요성과 최적화 기법GPU 메모리 관리에 대한 이해와 적절한 최적화는 대형 모델을 학습하는 데 있어서 매우 중요합니다.특히, PyTorch를 사용한 딥러닝 작업에서는 GPU 메모리 부족으로 인한 오류(CUDA out of memory)가빈번하게 발생할 수 있습니다. 1. PYTORCH_CUDA_ALLOC_CONF 환경 변수 설정PyTorch는 GPU 메모리를 관리하기 위해 PYTORCH_CUDA_ALLOC_CONF라는 환경 변수를 제공합니다... 2024. 8. 22. Transformer 모델 학습 중 발생하는 --load_best_model_at_end 에러: 원인과 해결 방법 1. Transformer 모델 학습 중 발생하는 --load_best_model_at_end 에러: 원인과 해결 방법 2. "element 0 of tensors does not require grad and does not have a grad_fn" 에러 해결 방법 Transformer 모델을 학습할 때, 모델의 성능을 모니터링하고, 최적의 모델을 저장하는 것은 매우 중요한 과정입니다.이를 위해 Hugging Face의 transformers 라이브러리는 --load_best_model_at_end 옵션을 제공합니다. 그러나 이 옵션을 사용할 때, ValueError: --load_best_model_at_end requires the saving steps to be a round multipl.. 2024. 8. 20. 이전 1 2 3 4 5 6 ··· 13 다음 728x90
