AI/논문 읽어보기6 RAG의 역사 논문 (3) End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering Review 오픈 도메인 질문 응답을 위한 다중 문서 리더 및 검색기의 End-to-End 학습초록1. 엔드 투 엔드 차별화 가능한 훈련 방법: 연구에서는 여러 개의 검색된 문서에서 정보를 결합하여 답변을 생성하는 오픈 도메인 질문 응답 시스템을 위한 새로운 훈련 방법을 제안합니다. 이 방법은 전체 프로세스를 하나의 통합된 모델로 훈련할 수 있도록 합니다. 2. 잠재 변수 모델링: 검색 결정은 관련 문서 집합에 대한 잠재 변수로 모델링됩니다. 즉, 어떤 문서가 질문에 대한 답변을 제공할 수 있는지를 결정하는 과정이 잠재 변수로 표현됩니다. 3. 마진화의 어려움: 검색된 문서 집합에 대해 마진화(marginalization)를 수행하는 것은 계산적으로 어려운 작업입니다. 이를 해결하기 위해 연구에서는 기대-.. 2024. 11. 7. RAG의 역사 논문 (2) Retrieval-Augmented Language Model Pre-Training (REALM) [논문] Retrieval-Augmented Language Model Pre-Training (REALM) 정리 안녕하세요 머킹입니다. 두 번째 읽은 논문입니다. REALM(Retrieval-Augmented Language Model)은 구글에서 발표한 논문으로, 기존 언어 모델의 한계를 해결하기 위해 retrieval(검색) 기능을 도입한 모델입니다. 기존의 언어 모델(예: BERT, GPT)은 학습된 데이터에 기반하여 지식을 저장하며, 이 지식을 바탕으로 다양한 태스크를 수행할 수 있었습니다. 하지만 학습된 데이터 외의 정보에는 접근할 수 없어 최신 정보를 반영하지 못하거나, 학습된 지식의 업데이트가 어렵다는 문제가 있었습니다.특히, 오픈 도메인 질문 응답(Open-Domain Question .. 2024. 10. 10. RAG의 역사 논문 (1) - Dense Passage Retrieval for Open-Domain Question Answering )DPR [논문] Dense Passage Retrieval for Open-Domain Question Answering )DPR 정리 안녕하세요 머킹입니다. 스터디에서 RAG의 역사부터 시작하는 논문을 같이 읽어보고 있는데따로 정리하면 좋을 것 같아서 블로그에 적고자 합니다. 초록기존의 질문 답변 시스템(QA)은 여러 구성 요소가 필요하지만,독해 모델의 발전으로 훨씬 단순한 2단계 프레임이 가능해졌습니다.Retriever: 답을 포함하고 있을 수 있는 여러 문단을 선택하는 역할Reader: 선택된 문단을 바탕으로 답을 도출하는 역할ODQA(오픈 도메인 질문 답변)를 단순히 독해 모델로 해결하려는 시도는 매우 논리적이지만,성능 저하가 자주 발생하므로, 정보를 검색하는 방식(retrieval)을 개선해야 할 필요.. 2024. 10. 8. High-Resolution Image Synthesis with Latent Diffusion Models High-Resolution Image Synthesis with Latent Diffusion Models 논문 요약 논문 제목(title) High-Resolution Image Synthesis with Latent Diffusion Models (”잠재확산모델을 이용한 고해상도 영상합성법”) 도표(figures) 초록(abstract) Diffusion Model(DM)은 이미지 생성 분야에서 재학습의 필요 없이 훌륭한 성능을 보이고 있다. 하지만, DM은 일반적으로 픽셀 레벨에서 동작되기 때문에 많은 리소스가 필요한 문제가 있다. pretrained auto encoder의 latent space에 DM을 적용하는 방법을 통해 이러한 제한 사항을 해결하는 방법을 제시한다. (Latent Spac.. 2023. 11. 9. 이전 1 2 다음 728x90
