Stop AI Agent Hallucinations: 5 Techniques + Production Patterns - Elizabeth Fuentes, AWS

한 줄 핵심

AI 에이전트의 환각은 프롬프트로만 막기 어렵고, 컨텍스트·검증·규칙 집행을 코드로 분리해 넣을 때 토큰 비용을 줄이면서 정확도와 운영 안정성을 함께 높일 수 있다.

시간별 요약

1. 0:00
   핵심 문제는 에이전트가 잘못된 컨텍스트를 많이 받거나 불필요한 토큰을 과다 소비할 때 환각이 늘어난다는 점이다. 이를 줄이기 위해 프롬프트 변경이 아니라 코드 변경으로 해결하는 다섯 가지 패턴을 제시한다.
2. 3:03
   semantic tool selection은 매 요청마다 필요한 도구만 컨텍스트에 넣어 도구 설명 토큰을 대폭 줄이는 방식이다. 29개 도구를 모두 넣는 구조에서는 매 호출마다 수천 토큰이 들지만, 관련 도구 3개만 남기면 비용이 수백 토큰 수준으로 내려간다.
3. 18:02
   GraphRAG는 벡터 검색이 약한 집계·카운트·관계 추적 문제를 Neo4j와 Cypher 쿼리로 처리해 검증 가능한 답을 돌려준다. 호텔 평균 평점이나 풀 보유 호텔 수처럼 전체 데이터셋을 계산해야 하는 질문에서는 텍스트 청킹보다 구조화된 그래프 질의가 더 정확하다.
4. 29:03
   multi-agent validation은 실행 에이전트와 별도의 검증 에이전트, 승인 에이전트를 둬서 실패를 사용자에게 그대로 내보내지 않게 한다. 단일 에이전트가 오류를 성공처럼 포장하는 문제를 줄이고, 최종 응답 전에 한 번 더 걸러낸다.
5. 36:00
   neuro-symbolic guardians와 runtime guardians는 규칙을 프롬프트가 아니라 코드와 런타임 제어로 강제하는 패턴이다. 하드 제약은 hook으로 차단하고, 소프트 제약은 에이전트가 자기 수정하며 대안을 찾게 만들어 운영 중에도 재배포 없이 정책을 바꿀 수 있다.

실무 인사이트

• 도구가 많아질수록 전체 도구를 매번 넣는 방식은 비용과 오답률을 동시에 키우므로, 먼저 semantic tool selection으로 컨텍스트를 줄이는 것이 가장 즉효가 크다.
• 집계·비교·관계 탐색이 필요한 질문은 RAG 대신 GraphRAG로 분기하면, 모델이 추측으로 답을 만드는 상황을 크게 줄일 수 있다.
• 운영 단계에서는 프롬프트 품질보다 검증·차단·재시도 로직을 코드와 런타임 정책으로 분리하는 것이 재현성과 통제력을 높인다.