문제정의

• 문제: RAG 출력의 품질은 검색된 문서의 품질에 좌우된.

  → RAG 성능을 높이기 위해서는 질문에 답할 수 있는 문서를 빠르고, 정확하게 찾을 수 있어야 함.

  • Semantic Search(Vector search)의 한계점

    

    • Semantic search는 의미론적인 유사성을 기반으로 유사한 문서를 검색함.

      → 특정한 도메인에서 사용되는 고유명사(코끼리 식당)/두문자어(RAG/NLP)/ID(CVE-2024-5274)를 찾는데 어려움이 있음.

  • Lost in Middle 문제: 문서의 위치가 답변의 정확도에 영향을 미침

    ex) 20개 문서에서 10번째 문서에 질문에 답할 수 있는 정보가 있을때, 처음이나 맨 뒤의 문서에 정보가 있을 때보다 정확도가 떨어짐.

    

GreenAI에서 사용하는 RAG 검색 방안

• Naive RAG(Semantic Search)
  • 정의: Embedding 모델을 사용하여 특정한 text를 vector로 만들고, 질문 vector와 문서 vector 사이의 거리를 기반으로 유사도를 평가하는 방식.
  • Semantic Search의 장점
    • 의미론적 유사성을 포착할 수 있음
      • Embedding모델이 다국어 지원을 하면, 질문과 document의 언어가 달라도 어느정도 성능을 발휘할 수 있음.
      • Image 등의 multimodal등에서 사용할 수 있음.
  • Semantic Search의 단점
    • 성능: task에 따라 명확한 키워드가 검색에 사용되는 경우에는 성능이 떨어질 수 있음.
    • 계산 복잡도: 일반적으로 계산 복잡도가 더 높음.
• Lexical search(Keyword Search)
  • 정의: 질의와 문서에 있는 공통적인 키워드를 기반으로 질문과 유사도를 평가하고 검색하는 방식
  • Lexical search의 장점
    • 키워드 검색의 특성: CVE-ID나 Signiture pattern과 같이 명확한 키워드나 pattern이 존재하는 경우에 성능이 더 좋음.
    • 계산 효율성: 일반적으로는 OpenSeach(Lucene)이나 Tantivy 등의 시스템을 사용하면 Vector 검색에 비해서 계산 효율적인 방법으로 사용할 수 있음
    • 널리 사용됨: Lexical search에서 일반적으로 사용되는 BM25 알고리즘은 다양한 검색엔진과 NLP에서 일반적으로 사용되는 기법.
  • Lexical search의 단점
    • keyword 기반 검색이기 때문에 언어와 tokenizer의 특성에 영향을 받음.
• Hybrid Search

  • 정의: semantic search와 Lexical search(Keyword Search)의 결과를 합쳐서(Rank-fusion) 질문에 답하기 위한 문서를 검색하는 방식

    

  • 방법: **semantic search와 Lexical search를 독립적으로 수행한 뒤에 Reciprocal rank fusion (RRF)알고리즘**을 기반으로 결과를 통합하여(Rank-fusion) 유사도를 평가함.

• Rerank

  • 정의: 질문과 문서를 동시에 분석 (Self-attention)하여, 보다 정확한 유사도를 재평가하는 방식

    

예상 구조도

• 알림: 본 구조도는 2안/3안의 방식으로 기초로 작성한 구조도 입니다.

  

• 구조

  • query: LLM이나 별도의 보안 장비가 평가한 payload의 특정한 보안 정보
  • Hybrid Search: payload의 signiture정보를 semantic search와 lexical search를 기반으로 검색함.
  • Rank-fusion: Reciprocal rank fusion (RRF)알고리즘을 사용하여, 서로 다른 검색방법이 평가한 유사도를 단일한 유사도로 바꿔줌.
  • Reranker
    • 검색엔진이 내놓은 후보 document들을 reranker 모델로 재평가함.
    • 후보 문서의 수를 압축하고, 유사도가 높은 문서를 상위 순위로 올려준다”로 가게 해준다.

결론 & 시사점

• Green AI에는 Postgres는 기반으로 Hybrid Search+ Reranker를 사용할 수 있게 준비중.
  • Lexical search(Keyword Search): Postgres의 PG_Vector와 PG_query를 사용중.
  • Reranker: BAAI의 bge-reranker-v2-m3 model를 FineTuning한 Dongjin-kr/ko-reranker를 사용하고 있음.