본문 바로가기
  • 머킹이의 머신로그

분류 전체보기135

RAG의 역사 논문 (3) End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering Review 오픈 도메인 질문 응답을 위한 다중 문서 리더 및 검색기의 End-to-End 학습초록1. 엔드 투 엔드 차별화 가능한 훈련 방법: 연구에서는 여러 개의 검색된 문서에서 정보를 결합하여 답변을 생성하는 오픈 도메인 질문 응답 시스템을 위한 새로운 훈련 방법을 제안합니다. 이 방법은 전체 프로세스를 하나의 통합된 모델로 훈련할 수 있도록 합니다.    2. 잠재 변수 모델링: 검색 결정은 관련 문서 집합에 대한 잠재 변수로 모델링됩니다. 즉, 어떤 문서가 질문에 대한 답변을 제공할 수 있는지를 결정하는 과정이 잠재 변수로 표현됩니다.    3. 마진화의 어려움: 검색된 문서 집합에 대해 마진화(marginalization)를 수행하는 것은 계산적으로 어려운 작업입니다. 이를 해결하기 위해 연구에서는 기대-.. 2024. 11. 7.
RAG의 역사 논문 (2) Retrieval-Augmented Language Model Pre-Training (REALM) [논문] Retrieval-Augmented Language Model Pre-Training (REALM) 정리 안녕하세요 머킹입니다. 두 번째 읽은 논문입니다.  REALM(Retrieval-Augmented Language Model)은 구글에서 발표한 논문으로, 기존 언어 모델의 한계를 해결하기 위해 retrieval(검색) 기능을 도입한 모델입니다. 기존의 언어 모델(예: BERT, GPT)은 학습된 데이터에 기반하여 지식을 저장하며, 이 지식을 바탕으로 다양한 태스크를 수행할 수 있었습니다. 하지만 학습된 데이터 외의 정보에는 접근할 수 없어 최신 정보를 반영하지 못하거나, 학습된 지식의 업데이트가 어렵다는 문제가 있었습니다.특히, 오픈 도메인 질문 응답(Open-Domain Question .. 2024. 10. 10.
RAG의 역사 논문 (1) - Dense Passage Retrieval for Open-Domain Question Answering )DPR [논문] Dense Passage Retrieval for Open-Domain Question Answering )DPR 정리 안녕하세요 머킹입니다. 스터디에서 RAG의 역사부터 시작하는 논문을 같이 읽어보고 있는데따로 정리하면 좋을 것 같아서 블로그에 적고자 합니다. 초록기존의 질문 답변 시스템(QA)은 여러 구성 요소가 필요하지만,독해 모델의 발전으로 훨씬 단순한 2단계 프레임이 가능해졌습니다.Retriever: 답을 포함하고 있을 수 있는 여러 문단을 선택하는 역할Reader: 선택된 문단을 바탕으로 답을 도출하는 역할ODQA(오픈 도메인 질문 답변)를 단순히 독해 모델로 해결하려는 시도는 매우 논리적이지만,성능 저하가 자주 발생하므로, 정보를 검색하는 방식(retrieval)을 개선해야 할 필요.. 2024. 10. 8.
파이썬 백준 알고리즘 풀기 [백준 2438,2439,10951,10952] 별 찍기 - 1, 별 찍기 - 2, A+B-5, A+B-4 2438번.별 찍기 - 1 문제첫째 줄에는 별 1개, 둘째 줄에는 별 2개, N번째 줄에는 별 N개를 찍는 문제입력첫째 줄에 N(1 ≤ N ≤ 100)이 주어진다.출력첫째 줄부터 N번째 줄까지 차례대로 별을 출력한다. N = int(input())for i in range(N): i += 1 print ("*" * i)  2439번.별 찍기 - 2 문제첫째 줄에는 별 1개, 둘째 줄에는 별 2개, N번째 줄에는 별 N개를 찍는 문제하지만, 오른쪽을 기준으로 정렬한 별(예제 참고)을 출력하시오.입력첫째 줄에 N(1 ≤ N ≤ 100)이 주어진다.출력첫째 줄부터 N번째 줄까지 차례대로 별을 .. 2024. 9. 20.
728x90

티스토리툴바