RAG(Retrieval-Augmented Generation, 검색 증강 생성) 개념 및 작동방식, 장단점

 RAG(Retrieval-Augmented Generation) 시스템을 최근 사내에 내부 AI를 도입하고 있습니다. 이러한 RAG시스템의 개념과 작동방식, 장단점에 대해 알아봅니다.

 

[ Contents ]

 

 

1. RAG (Retrieval-Augmented Generation) 이란?

내부 데이터 소스(DB)에서 검색(Retrieval)한 후, 그 내용을 바탕으로 LLM 답변을 생성(Generation)하는 기술

 

 RAG시스템은 내부 데이터를 LLM 답변에 이용할 수 있는 특징이 있는 기술입니다. 주로 정부나 기업에서 내부 데이터를 활용하는 방법으로 이용됩니다.

 현재 Chat GPT나 Gemini, Claude처럼 성능이 뛰어난 생성형 AI서비스는 많지만, 보안상 내부 데이터를 입력 후 사용하는 건 제한됩니다. 아직 발표되지 않은 논문이나 정책, 내부 보고자료를 생성형 AI에 물어볼 순 없죠.

 그래서 기관 내 AI 도입을 추진하고 있고, 내부 DB가 연결된 GPU 서버에 설치된 생성형 AI를 RAG시스템이라고 합니다.

 

 

2. RAG 작동방식

1. 사용자 질문(Query)
2. 검색(Retrieval) : 질문과 관련된 정보를 DB 검색 
3. 결합(Augmentation) : 질문과 내부 DB정보를 LLM에게 전달할 프롬프트 작성
4. 생성(Generation) : LLM이 답변을 생성
5. 답변 제공(Answer Delivery) : 답변 출력

 

 기존 생성형 AI 답변과의 차이점은 내부 DB에서 자료를 찾고, 설정된 프롬프트로 LLM이 답변을 생성한다는 것입니다. 이렇게 하면 기업 내부문서, 전문지식을 토대로 보다 정확하고 체계화된 답변을 할 수 있습니다.

 LLM에서 문제가 되는 할루시네이션을 크게 줄일 수 있고, 출처도 표기하여 신뢰도도 높일 수 있죠.

 

반응형

 

3. RAG시스템 장단점

1) 장점

1) 할루시네이션(환각 현상) 크게 감소
2) 최신 정보 반영
3) 출처 표기
4) 보안

 

 RAG시스템의 경우에는 보통 내부 DB 데이터를 기반으로 답변하라는 프롬프트를 설계합니다. 그래서 할루시네이션(환각 현상)이 크게 감소하며, 답변의 신뢰도가 높습니다. 답변 옆에 참고한 내부 문서 내용도 표기되기 때문에, 출처가 정확한 편이죠.

 또한 학습데이터가 바뀔 때마다 따로 파인 튜닝을 할 필요가 없이, 내부 DB 파일만 바꿔주면 됩니다. 최신 정보를 반영하기 용이하죠. 보안적으로도 사내 내부망에 있으므로 데이터 유출 위험이 적고, 모니터링이 가능합니다.

 

 

2) 단점

1) 내부 문서, LLM 성능 의존도 높음
2) 내부 DB 검색 지연시간 증가
3) LLM 검색 분량 한계
4) 비정형 데이터 검색 어려움

 

 RAG시스템은 내부 문서를 기반으로 답변하므로, 답변의 근거가 되는 문서의 의존도가 높습니다. 따라서 정확한 최신 문서가 있어야 올바른 답변이 생성됩니다. 또한 내부 GPU서버의 LLM을 사용하므로, 상용 AI보다는 성능이 떨어질 수 있습니다. 현재 사용자들은 상용 AI 성능에 익숙해져 있으므로, 그 기대치를 충족시키는 성능을 낼 수 있는 AI인프라가 필요합니다.

 내부 문서를 기반으로 검색하여 답변을 생성하므로, 검색 시간 지연이 꽤 있는 편이며 검색 분량도 한계가 있습니다. DB에서 출처로 가져오는 자료는 대체로 varchar2(4000byte) 기준으로 잘라서 보여줍니다.

 또, RAG시스템은 문서 내 텍스트를 벡터화 & 임베딩해서 검색이 용이한 편이지만, 문서 내 도표나 그림 해석은 다소 어렵습니다. 이는 따로 OCR이나 마크다운 전처리가 필요하며, 전처리를 진행해도 원하는 답변이 나오지 않는 경우가 많습니다.