일체형 멀티모달 RAG 프레임워크 (RAG-Anything: All-in-One RAG Framework)

유형: 논문 · 저자: Zirui Guo, Xubin Ren, Lingrui Xu · 출처: The University of Hong Kong · 별점: ⭐️⭐️⭐️

결론

• 전통적 RAG가 텍스트에만 의존하며 비텍스트 요소를 소실하는 반면 → 텍스트 전용 RAG는 문서의 핵심 정보(그래프, 표, 다이어그램)를 놓친다
• 본 프레임워크는 문서 속 다양한 모달리티를 정의-관계 그래프 + 임베딩 기반 하이브리드 검색으로 처리하여 성능과 응답 품질을 크게 개선
  • 모달 정보의 의미 보존이 필수: 텍스트 전용 변환 시 표/그래프가 의미를 잃음 → 금융/과학/기술 문서에서 치명적 정보 누락 문제 존재
  • 그래프+임베딩 융합 필요성: 단일 임베딩만으로는 구조적 관계를 포착 못함 → Graph 상호연계 검색이 의미 확장에 유리함
  • 실험 결과는 도전적 벤치마크에서 기존 최첨단 대비 유의미한 성능 향상을 보여주며, 특히 긴 문서에서 차이가 더욱 두드러짐

1) 멀티모달 지식 통합 표현

• 원자 지식 단위 분해 문서를 텍스트, 이미지, 표, 수식 등 원자 콘텐츠 단위로 분해하고, 각각을 정확한 문맥/위치 관계로 보전
• 구조 보전 인덱싱 그림은 캡션/참조문과 연결, 표는 헤더/셀 구조 유지, 수식은 정의와 결부 → 모달 간 상호관계 보존

2) 이중 그래프(Dual-Graph) 기반 표현

• Cross-Modal Knowledge Graph 비텍스트 콘텐츠를 노드로 변환하고, 문맥 관계/시각 정보로 엣지를 구성
• Text-Based Knowledge Graph 텍스트 내 엔티티/관계를 별도 그래프로 추출하고 Dual-Graph 간 엔티티 정렬 및 병합 수행
• 그래프 결합 두 그래프를 결합함으로써 모달 간 관계+텍스트 의미를 하나의 지식 구조로 확립

3) 하이브리드 검색 체계(Cross-Modal Hybrid Retrieval)

• 구조 기반 네비게이션 Graph 탐색을 통해 명시적 관계/논리적 연결 정보를 우선적으로 활용
• 시맨틱 임베딩 시밀러티 매칭 벡터 공간에서 의미적 유사도 기반 검색 보완 → 구조 + 의미 결합 검색
• 통합 후보 랭킹 두 검색 결과를 통합·우선순위화하여 높은 Recall과 정교한 응답 환경 마련

4) 응답 생성 및 통합

• 검색된 multimodal 후보를 기반으로:
  • 텍스트 컨텍스트를 구성
  • 비텍스트 콘텐츠를 재참조(이미지/표/수식 복원)
  • 통합 컨텍스트 + 쿼리를 Vision-Language 모델로 합성