지난 토론에서 AI 지식베이스의 정확도와 속도를 획기적으로 개선하는 획기적인 솔루션으로 '하이브리드 RAG'를 소개했습니다. 하지만 내부에서는 정확히 어떤 일이 일어나고 있을까요? 이 "하이브리드" 접근 방식이 이전의 방법보다 훨씬 효과적인 이유는 무엇일까요?
이 문서는 하이브리드 RAG에 대한 상세하면서도 쉽게 이해할 수 있는 기술적 설명을 제공합니다. 이러한 메커니즘을 이해하는 것은 AI 구현에 대한 전략적 결정을 내리는 모든 리더에게 매우 중요합니다.
핵심 문제: 단일 검색 방법의 한계
기존의 검색 증강 세대(RAG) 시스템은 정보를 찾기 위해 단일 방식에 의존합니다. 이는 일반적으로 두 가지 접근 방식 중 하나였습니다:
- 키워드 검색(또는 어휘 검색) 이것은 고전적인 검색 방법입니다. 검색어에서 정확한 단어 또는 구문이 포함된 문서를 찾는 데 탁월합니다. 정확하지만 문맥, 동의어 또는 단어의 근본적인 의미를 이해하지 못하는 "멍청한" 검색입니다. 꼼꼼하지만 매우 문자 그대로의 도서관 도우미와 같습니다.
- 벡터 검색(또는 시맨틱 검색) 이것은 최신의 "지능형" 접근 방식입니다. AI 모델을 사용해 쿼리와 문서를 모두 임베딩(또는 "고밀도 벡터"라고 하는 숫자 표현)으로 변환합니다. 그런 다음, 정확히 동일한 키워드를 공유하지 않더라도 개념적으로 연관성이 있는, 즉 '의미론적으로' 유사한 문서를 찾습니다. 마치 개념을 잘 이해하지만 때때로 정확하지 않은 도서관 도우미와 같습니다.
중요한 문제는 두 방법 모두 완벽하지 않다는 것입니다. 벡터 검색은 제품명, 오류 코드, 사람 이름 등 특정 희귀 키워드가 중요한 경우 결과를 검색하지 못할 수 있습니다. 반대로, 사용자의 쿼리가 동일한 개념을 설명하기 위해 다른 단어를 사용하는 경우 키워드 검색은 완전히 실패합니다.
솔루션: 하이브리드 RAG - 두 가지 장점의 결합
하이브리드 RAG(RAG 맥락에서 흔히 "하이브리드 검색"이라고도 함)는 키워드 검색과 벡터 검색을 동시에 실행한 다음 그 결과를 지능적으로 융합하여 이 문제를 해결하는 고급 아키텍처입니다.
키워드 검색의 문자 그대로의 정확성과 벡터 검색의 개념적 이해를 결합하여 어느 한 방법만 사용하는 것보다 훨씬 더 정확하고 탄력적인 시스템을 만들어냅니다.
기술 아키텍처: 두 개의 엔진, 하나의 결과
하이브리드 RAG 시스템은 최종 융합 및 생성 단계에 투입되는 두 개의 병렬 검색 엔진을 기반으로 구축됩니다.
엔진 1: 스파스 벡터 리트리버(키워드 검색)
이 엔진은 어휘 매칭을 담당합니다. AI 임베딩을 사용하지 않습니다. 대신 문서를 "스파스 벡터"로 표현합니다
- 스파스 벡터란 무엇인가요? 전체 문서 컬렉션에 있는 모든 고유 단어가 포함된 사전을 상상해 보세요. 단일 문서에 대한 스파스 벡터는 그 문서에 어떤 단어가 나타나는지 기록하는 목록입니다. 특정 문서에는 가능한 모든 단어 중 극히 일부만 포함되므로 이 목록은 대부분 "희소" 또는 비어 있으며, 활성 항목은 몇 개뿐입니다.
- 알고리즘(BM25): 이러한 키워드 일치 점수를 매기는 표준은 Okapi BM25라는 알고리즘입니다. 이는 TF-IDF(용어 빈도-역 문서 빈도)의 정교한 버전입니다. 간단히 말해, BM25는 다음과 같은 문서에 높은 점수를 부여합니다
- 쿼리의 키워드는 해당 문서 내에서 자주 나타납니다.
- 이러한 키워드는 전체 문서 모음에서 상대적으로 희귀한 키워드입니다.
- 결과: 희소 벡터 검색기는 사용자의 쿼리에 대해 강력한 <<어휘>> 일치하는 문서의 순위가 매겨진 목록을 생성합니다.
엔진 2: 고밀도 벡터 리트리버(시맨틱 검색)
이 엔진은 개념 매칭을 담당합니다. 이 엔진은 강력한 AI 모델(예: BERT 또는 OpenAI의 임베딩 모델)을 사용하여 '고밀도 벡터'를 생성합니다
- 고밀도 벡터란 무엇인가요? 고밀도 벡터는 텍스트의 의미를 간결하게 수치로 표현한 것입니다. 스파스 벡터와 달리 이 목록의 모든 숫자는 값을 가지며, 그 위치는 텍스트의 의미론적 의미의 미묘한 측면을 포착합니다.
- 과정: 쿼리는 고밀도 벡터로 변환되고, 시스템은 특수한 벡터 데이터베이스(예: Weaviate, Pinecone 또는 Milvus)를 검색하여 이 고차원 공간에서 벡터가 "가장 가까운" 문서 청크를 찾습니다. 이 '근접성'은 코사인 유사도와 같은 거리 메트릭을 사용하여 측정됩니다.
- 결과: 밀도 벡터 검색기는 사용자의 쿼리와 <의미론적> 또는 <개념적>으로 가장 일치하는 문서의 순위 목록을 생성합니다.
퓨전 스테이지: 단일 통합 랭킹 생성
이제 시스템에는 키워드에 기반한 결과 목록과 의미에 기반한 결과 목록이라는 두 개의 서로 다른 순위가 매겨진 결과 목록이 있습니다. 하이브리드 RAG의 마법은 이 두 가지를 지능적으로 병합하는 방식에서 발생합니다. 이를 위한 가장 진보되고 효과적인 방법은 상호 순위 퓨전(RRF)입니다.
- RRF 작동 방식: RRF는 문서의 원시 점수가 아닌 문서의 <순위>에 초점을 맞춰 목록을 결합하는 정교한 알고리즘입니다. 각 문서는 목록에 표시되는 각 문서의 순위의 역수에 따라 새로운 점수를 부여받습니다. 공식은 일반적으로 다음과 같습니다: 점수 = 1 / (k + 순위), 여기서 k는 상위 순위 항목의 영향력을 조절하는 데 사용되는 상수(보통 60)입니다.
- 장점: 이 방법은 두 목록 모두에서 높은 순위에 있는 문서에 자연스럽게 더 많은 가중치를 부여하기 때문에 매우 효과적입니다. 강력한 키워드 일치(BM25 목록에서 높은 순위)와 강력한 의미론적 일치(벡터 검색 목록에서 높은 순위)가 있는 문서는 매우 높은 융합 점수를 받게 됩니다. 또한 BM25와 벡터 검색의 완전히 다른 점수 시스템을 정규화하는 복잡하고 종종 신뢰할 수 없는 프로세스를 피할 수 있습니다.
마지막 단계: 생성
RRF 알고리즘이 가장 관련성이 높은 문서 청크의 지능적으로 순위가 재조정된 단일 목록을 생성하면, 이는 원래 사용자 쿼리와 함께 대규모 언어 모델(예: GPT-4, Claude)로 전달됩니다. 이제 LLM은 정확하고 최종적인 답변으로 합성할 수 있는 풍부하고 관련성이 높으며 정확하게 선택된 컨텍스트 세트를 갖게 됩니다.
결론 결론: 하이브리드 접근 방식의 전략적 가치
하이브리드 RAG 아키텍처를 구현하면 단일 검색 방법의 내재적인 약점을 극복하는 시스템을 구축할 수 있습니다. 정확한 키워드가 중요한 경우 건초 더미에서 바늘을 찾을 수 있고, 사용자의 쿼리가 추상적일 때는 더 넓은 맥락과 의미를 이해할 수 있습니다.
이 이중 엔진 접근 방식은 오류를 획기적으로 줄여줍니다. 이는 LLM에 더 풍부하고 신뢰할 수 있는 정보를 제공하여 최종적으로 생성된 답변의 품질을 대폭 개선하고 데이터로 운영되는 세상에서 조직이 강력한 경쟁 우위를 확보할 수 있도록 합니다.
