Stop Fine-Tuning to Fix Retrieval Problems — Anant Srivastava

한 줄 핵심

기업용 AI에서 중요한 것은 모델 성능 자체보다 지식·행동·기억을 프롬프트, 메모리, 가중치에 어디에 둘지 의도적으로 설계하는 일이며, 검색 문제를 fine-tuning으로 덮지 말아야 한다.

시간별 요약

1. 0:00
   지식은 어디에 있어야 하는가 지식을 어떤 계층에 둘지 결정하는 문제가 영상의 출발점이며, 이 선택이 전체 AI 아키텍처를 좌우한다.
2. 0:15
   진짜 엔지니어링 문제 모델은 토큰을 읽고 쓰는 장치일 뿐이고, 실제 지식은 파일·데이터베이스·API에 있으므로 그 지식을 추론 시점에 어떻게 가져올지가 핵심이다.
3. 0:50
   세 개의 도구, 하나의 사다리가 아니다 프롬프트, 메모리, fine-tuning은 위계적 단계가 아니라 서로 다른 목적을 가진 별개의 도구이며, 팀은 이를 구분해 써야 한다.
4. 1:20
   팀은 왜 우연히 결정하는가 대부분의 팀은 프롬프트 수정, 메모리·검색 수정, 마지막에 fine-tuning으로 넘어가는 식으로 문제를 단계적으로 밀어내며 의도 없이 선택을 누적한다.
5. 2:00
   모든 수정은 아키텍처 결정이다 프롬프트 편집은 행동을, 색인 문서 추가는 지식을, 학습 샘플 추가는 가중치에 새 규칙을 넣는 일이므로 매번 아키텍처를 바꾸는 것과 같다.
6. 2:40
   고객 지원 비서의 실패 사례 톤 수정, 환불 정책의 검색 추가, 상품 카탈로그를 프롬프트에 주입, 오래된 티켓으로 fine-tuning을 동시에 쌓으면 문제의 원인이 섞이고, 새 카탈로그가 나와도 오래된 상품명이 남는 사고가 발생한다.
7. 4:34
   설계가 아니라 누적이다 이런 시스템은 한 사람이 설계한 구조가 아니라 여러 달의 평범한 작업이 쌓여 생긴 누적 구조이며, 누구도 전체 배치 원칙을 책임지지 않으면 사고가 난다.
8. 5:14
   프롬프트는 행동을 담는다 프롬프트의 역할은 사실 저장이 아니라 톤, 페르소나, 반응 방식처럼 작고 안정적인 행동 규칙을 담는 것이며, 카탈로그 같은 사실을 넣는 용도가 아니다.
9. 5:59
   고객 지원 에이전트 프롬프트 예시 전문적인 말투, 세 번 실패 후 인간 에스컬레이션, 구체적인 다음 단계 안내처럼 쿼리나 사용자와 무관하게 고정되는 행동 규칙은 프롬프트에 두는 것이 맞다.
10. 6:59
    메모리는 현재적이고 크며 인용 가능해야 한다 메모리는 빠르게 변하고, 프롬프트에 넣기엔 너무 크며, 출처를 가리킬 수 있어야 하는 지식을 담는 층이고, 사용자 기억과 외부 지식 저장소 둘 다를 포함한다.
11. 8:09
    메모리에 두면 안 되는 일 추론 능력이 부족한 모델에 문서를 많이 넣는다고 해결되지 않으며, 많은 문서를 읽을 수 있어도 논리적으로 다루지 못하면 더 나은 답을 못 만든다.
12. 8:49
    접근 제어는 메모리의 몫이다 누가 무엇을 볼 수 있는지 같은 범위·권한 정보는 메모리에 있어야 사용자별 가시성을 통제할 수 있다.
13. 9:14
    코드 비서 예시 조직 전체 저장소를 다루는 코드 비서는 코드를 통째로 fine-tuning하지 않고, 필요한 사실은 검색으로 가져오되 형식에 대한 반사적 대응만 학습시키는 쪽이 적절하다.
14. 10:08
    코드 RAG의 청킹과 메타데이터 코드 검색 시스템은 코드 인지 청킹과 저장소·권한 메타데이터가 중요하며, 이를 잘 설계해야 검색 결과가 섞이지 않고 필요한 조각만 정확히 가져온다.
15. 11:23
    가중치는 더 이상 변하지 않는 것 가중치에는 변화가 멈춘 것, 즉 안정화된 패턴과 반사적으로 알아야 하는 규칙이 들어가며, 아직 움직이는 경계를 고정하면 오히려 오류가 난다.
16. 12:28
    잘못된 fine-tuning 문서나 runbook이 틀렸다면 문제는 검색 품질인데, 이를 fine-tuning으로 덮으면 오래된 정보를 학습시켜 더 나쁜 답을 만들 수 있다.
17. 13:53
    fine-tuning이 잘 맞는 경우 콘텐츠 모더레이션이나 클레임 처리처럼 사람이 점점 합의해 가며 중심 패턴이 안정되는 문제는 그 안정된 중심부를 fine-tuning하기에 적합하다.
18. 15:08
    의료 코딩: 반사만 학습시키기 ICD 10 코드 같은 사실 자체를 외우게 하기보다, 입력 형식을 이해하고 어떤 코드 체계를 선택할지 같은 반사적 판단을 학습시키는 편이 더 효율적이다.
19. 16:13
    기능이냐 비용이냐 fine-tuning의 이유는 보통 모델의 한계보다는 비용 절감에 있으며, 패턴이 안정적이면 작은 모델을 fine-tuning해 대량 처리 비용을 낮출 수 있다.
20. 16:58
    의사결정 표 프롬프트는 행동, 메모리는 알아야 할 사실, 가중치는 추론 방식에 가깝다는 기준으로 현재 시스템을 점검하면 무엇을 어디에 둘지 빠르게 판단할 수 있다.
21. 17:33
    순환하는 아키텍처 프롬프트·메모리·fine-tuning은 서로 고정된 칸이 아니라, 세션을 거치며 정보가 오가고 다시 구조를 바꾸는 순환 구조로 운영해야 한다.
22. 19:27
    모델은 쉬운 부분이다 핵심은 모델 자체가 아니라, 정보를 올바른 위치에 저장하고 프롬프트·메모리·가중치 사이를 순환시키는 주변 하네스를 설계하는 일이다.

실무 인사이트

• 검색 품질이 문제인지, 행동 규칙이 문제인지, 안정된 패턴 학습이 필요한지부터 먼저 분리하면 불필요한 fine-tuning을 크게 줄일 수 있다.
• 권한·범위·출처가 중요한 지식은 메모리에 두고, 톤·응답 방식은 프롬프트에 두며, 반복적으로 안정화된 반응만 가중치로 옮기는 기준을 팀 공통 원칙으로 두는 것이 좋다.
• 문서가 자주 바뀌는 조직일수록 fine-tuning보다 RAG와 메타데이터 설계의 품질이 성능을 더 크게 좌우한다.