[한영자막] RAG만으로는 부족합니다: 토큰 비용을 절반으로 줄이는 관계형 컨텍스트 엔진

한 줄 핵심

이 영상은 RAG만으로는 다루기 어려운 구조화된 질문까지 처리하는 관계형 컨텍스트 엔진의 필요성과 구현 방법을 보여주며, 이를 통해 에이전트의 정확도와 토큰 비용을 함께 줄일 수 있음을 설명한다.

시간별 요약

1. 0:00
   도입부 발표는 컨텍스트 엔진이 무엇인지, 조직에 어떤 가치를 주는지, 그리고 그 일부를 실제로 어떻게 구현하는지 두 부분으로 나뉜다. 마지막에는 직접 실험해볼 수 있는 오픈소스 프로젝트도 소개한다.
2. 0:32
   오늘의 발표 주제 AI 에이전트가 등장하기 전에는 사람이 직접 코드, 문서, 사건 기록을 뒤져 맥락을 맞춰야 했고, 그 역할을 컨텍스트 엔진이 대신한다. 흩어진 지식을 연결해 개인화되고 권한을 고려한 grounded context로 바꾸는 것이 핵심이다.
3. 2:02
   컨텍스트 유무에 따른 데모 컨텍스트 엔진이 없을 때 Claude는 코드베이스를 스스로 훑으며 추측에 의존하지만, 연결하면 관련 문서·PR·Slack 대화를 묶은 task-specific context bundle을 받는다. 그 결과 더 정확한 근거와 링크를 가진 답변이 나오고, 실행 비용과 시간이 크게 줄어든다.
4. 3:56
   토큰 비용 절반 절감 같은 작업에서 컨텍스트 엔진을 쓰면 약 $1.29와 1분 30초, 쓰지 않으면 최대 $2.60과 3분이 들어 50% 수준의 비용 절감이 나타난다. 즉, 더 많은 정보를 넣는 것이 아니라 필요한 정보를 더 잘 묶는 것이 비용 최적화의 핵심이다.
5. 4:35
   모델 성능 저하 원인 추적 코드 리뷰에서 이슈 검출 수가 줄어든 원인을 추적할 때, 컨텍스트 엔진은 모델 버전 변경과 그로 인한 행동 변화까지 빠르게 좁혀낸다. 또한 관련 PR과 Slack 논의를 엮어 수정용 PR 작성까지 이어져, 원인 분석부터 조치까지 연결된다.
6. 5:59
   본격적인 구현 시작 컨텍스트는 PR, 리뷰, 코멘트, 이슈, 티켓, 문서, 대화 등 곳곳에 흩어져 있고, 이 중 내용 기반 질문은 RAG가 잘 처리한다. 다만 구조적인 질문은 별도의 쿼리 엔진이 필요하며, 여기에 에이전트 루프를 얹으면 더 강력해진다.
7. 6:48
   벡터 검색이 답할 수 없는 질문들 최근에 병합한 PR, 특정 사람의 리뷰 수, 열린 PR처럼 시간·집계·필터가 중요한 질문은 벡터 검색만으로는 답하기 어렵다. 그래서 자연어 질문을 구조화된 쿼리로 바꾸는 구조적 검색 계층이 필요하다.
8. 8:03
   가장 어려운 과제: 스캐폴딩 쿼리를 생성하는 것보다 어려운 것은 그 앞뒤를 받치는 스캐폴딩이다. 스키마 이해, 신원 매핑, 안전한 검증, 오류 재시도까지 포함해야 신뢰할 수 있는 쿼리 시스템이 된다.
9. 9:30
   문서 쿼리 엔진 처음 실행된 document query engine은 아직 연결된 것이 없어 질문해도 아무 결과도 내지 못한다. 이후 단계적으로 기능을 더해가며 점진적으로 쿼리 가능한 상태로 만든다.
10. 10:10
    자동 스키마 탐색 문서 저장소의 샘플을 바탕으로 런타임에 스키마를 추론하고, enum까지 유추하는 방식으로 구조를 자동 발견한다. 이 작업은 LLM보다 전통적인 절차적 방법이 더 결정적이고 효율적일 수 있으며, 결과적으로 스키마와 인덱스를 함께 얻는다.
11. 12:05
    식별자 매핑 및 통합 여러 시스템의 사용자 이름과 실제 신원을 매핑할 때는 퍼지 매칭 같은 간단한 절차적 기법으로 많은 부분을 해결할 수 있다. 최종적으로 애매할 때만 LLM을 판별자로 두고, 이어서 스키마와 사용자 맥락을 넣어 쿼리를 합성한다.
12. 13:24
    쿼리 검증 생성된 쿼리는 신뢰할 수 없으므로, function 같은 위험한 연산이나 테넌트 경계를 넘는 접근을 차단해야 한다. 숨겨진 필드와 메타데이터를 LLM이 직접 건드리지 않게 막고, 검증 실패 시에는 에러를 다시 넣어 수정하게 만든다.
13. 15:26
    재시도 메커니즘 검증이나 실행에서 실패하면 최대 재시도 횟수 안에서 LLM이 스스로 쿼리를 고쳐 보게 할 수 있다. 다만 정확한 title 일치만으로는 부족해 실제 데이터에 닿지 못할 수 있으므로, 다음 단계로 full-text search가 필요해진다.
14. 16:15
    전문 검색 full-text search를 더하면 필터, 집계, 시간 범위 조건을 갖춘 구조적 질문을 끝까지 처리할 수 있다. 이 엔진은 채팅 에이전트의 백엔드로도 쓰여, 쿼리 생성 과정과 reasoning을 함께 보여주며 구조화된 컨텍스트를 제공한다.
15. 18:08
    컨텍스트 엔진 시뮬레이터 바로 Unblocked를 연결하기 어려운 환경을 위해 로컬에서 동작하는 컨텍스트 엔진 시뮬레이터도 제공된다. 작업별 컨텍스트 번들을 만들고 A/B 테스트로 효과를 비교해, 컨텍스트의 실제 가치를 검증할 수 있다.

실무 인사이트

• RAG는 내용 검색에 강하지만, 집계·필터·시간 조건이 필요한 구조적 질문은 별도의 쿼리 계층으로 분리해야 정확도가 높아진다.
• 컨텍스트 엔진의 핵심 가치는 더 많은 토큰을 넣는 것이 아니라, 관련 문서·대화·PR을 연결해 필요한 맥락만 압축하는 데 있다.
• 실무에서는 쿼리 생성보다 스키마 탐색, 신원 매핑, 검증, 재시도, full-text search까지 포함한 전체 파이프라인을 설계해야 안정적으로 운영할 수 있다.