분류 전체보기135 DDP 모델 학습에서 발생한 주요 에러 안녕하세요 머킹입니다.모델 학습 과정에서 발생한 에러들을 보면서...이걸 정리해두면 좋겠다 싶어서 글을 적습니다. 1. DataParallel vs DistributedDataParallel (DDP) 이슈문제: 처음에는 DataParallel을 사용해 여러 GPU에서 모델을 학습했지만, 메모리 오류 및 성능 저하 문제로 인해 안정적이지 않았습니다. 특히, cuda:0과 cuda:3에서 GPU 간 장치 혼합 오류가 발생했습니다.해결 방법: DataParallel 대신 DistributedDataParallel (DDP)를 사용하여, GPU 자원 관리 문제와 메모리 문제를 해결했습니다. DDP는 각 GPU마다 별도의 프로세스를 할당해, 성능을 향상시킵니다. setup과 cleanup 함수를 통해 프로세스를.. 2024. 9. 10. 파이썬 백준 알고리즘 풀기 [백준 11021, 11022] A+B-7, A+B-8 11021번. A+B-7 문제두 정수 A와 B를 입력받은 다음, A+B를 출력하는 프로그램을 작성하시오. 입력첫째 줄에 테스트 케이스의 개수 T가 주어진다.각 테스트 케이스는 한 줄로 이루어져 있으며, 각 줄에 A와 B가 주어진다. (0 출력각 테스트 케이스마다 "Case #x: "를 출력한 다음, A+B를 출력한다. 테스트 케이스 번호는 1부터 시작한다. T = int(input())for i in range(T): a,b = map(int, input().split()) answer = a + b print("Case #%s: %s"%(i+1, answer)) 11022번. A+B-8문제두 정수 A와 B를 입력받은 다음, A+.. 2024. 9. 6. Git 이란? Git 은 '분산 버전관리 시스템 DVCS(Distributed Version Control Systems)'으로컴퓨터 파일의 변경사항을 추적하고, 여러명의 사용자들 간에 파일에 대한 작업을 조율하는데 사용됩니다.주요 기능:1. 변경 기록: 파일을 여러 번 수정해도, 이전 버전으로 돌아가거나, 누가 어떤 변경을 했는지 알 수 있어요.2. 백업: 실수로 파일을 지우거나 문제가 생기면, 이전 상태로 복구할 수 있어요.3. 분산 저장: 팀원 각각의 컴퓨터에 프로젝트가 저장되기 때문에, 중간에 서버가 다운되도 작업을 잃지 않아요.4. 브랜치: 여러 가지 기능을 동시에 개발할 때, 서로 영향을 주지 않고 독립적으로 작업할 수 있는 '가지' 같은 것을 만드는 기능이에요. 나중에 하나로 합치기도 해요(merge). .. 2024. 9. 4. RAG란 무엇인가? Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 서론"Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"는 자연어 처리(NLP) 작업에서 정확성과 효율성을 높이기 위해 검색 기능을 통합한 생성 모델을 제안하는 논문입니다. 기존의 대형 언어 모델은 파라미터 내에 내장된 지식을 바탕으로 작업을 수행하지만, 최신 정보나 모델이 학습하지 않은 지식에 접근하기 어려운 한계가 있었습니다. 이 문제를 해결하기 위해 논문에서는 RAG(Retrieval-Augmented Generation)라는 새로운 접근 방식을 도입하였습니다.2. RAG 모델의 구조RAG 모델은 두 가지 주요 구성 요.. 2024. 9. 3. 이전 1 2 3 4 5 ··· 34 다음 728x90
