Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI

한 줄 핵심

에이전트에 도구를 무작정 많이 넣기보다 샌드박스형 실행 환경을 주면 더 적은 토큰과 비용으로 더 복잡하고 긴 작업을 처리할 수 있다.

시간별 요약

1. 0:00
   소개 Arize AI의 오픈소스 관측·평가 프레임워크와 자체 에이전트 경험을 바탕으로, Code Mode가 무엇인지와 이를 도입한 여정을 다룬다.
2. 0:36
   엔지니어와 비엔지니어의 경계가 사라지고 있다 예전에는 엔지니어만 스크립트를 짜서 원하는 도구를 만들 수 있었지만, 이제는 coding agent가 필요한 소프트웨어를 즉석에서 만들어 그 경계를 허문다. 이런 변화에 맞춰 에이전트도 고정된 도구 목록보다 동적으로 소프트웨어를 구성하는 방향으로 설계해야 한다.
3. 1:52
   전통적인 툴 호출 에이전트 기존 에이전트는 많은 도구를 미리 넣고, 호출할 때마다 결과가 컨텍스트 윈도우에 쌓이면서 토큰 비대화와 컨텍스트 오염이 발생한다. 긴 대화와 중간 요약이 늘어날수록 지연과 비용이 커지고, 더 큰 유연성을 내기 어렵다.
4. 3:03
   Code Mode란 무엇인가? Code Mode는 도구 목록을 단순히 나열하는 대신, 필요한 도구를 검색하고 실행할 수 있는 프로그래밍 환경까지 함께 제공하는 방식이다. 순차 실행, 병렬 실행, 조건 분기, 다중 도구 호출을 한 번에 처리하면서 필요한 결과만 다시 컨텍스트에 넣도록 설계된다.
5. 4:37
   왜 Code Mode가 작동하는가 도구를 한꺼번에 주입하지 않고 필요할 때 찾게 하면 도구 이해와 실행이 더 자연스러워지고, 순차·병렬 조합으로 더 복잡한 워크플로를 만들 수 있다. 또한 불필요한 출력 전체를 컨텍스트에 넣지 않아 토큰 효율이 높아지고, 에이전트가 자체적으로 도구를 만들어 쓰는 emergent behavior까지 가능해진다.
6. 6:11
   Phoenix에서 Code Mode를 쓰는 방식 Phoenix에서는 Bash, Python sandbox, REST CRUD 엔드포인트, SQL 실행을 하나의 코딩 환경에 넣어 에이전트가 데이터 조회와 조작, 집계 질의를 유연하게 수행하게 만든다. 프런트엔드에서도 시간 범위 변경이나 데이터 읽기 같은 UI 상호작용을 프로그래밍적으로 처리하게 해 더 복잡한 작업을 자동화한다.
7. 8:19
   Code Mode의 숨은 비용 샌드박스 기반 실행은 CPU·메모리·네트워크·시크릿·권한을 모두 신경 써야 하며, 잘못 설계하면 과도한 권한이나 외부 유출 위험이 커진다. 또한 부팅 실패, 디버깅 난이도, 코드가 곧 파라미터가 되는 문제, 이중 샌드박싱처럼 운영 복잡도도 함께 증가한다.
8. 10:42
   열린 문제 중간에 실패한 코드를 이어서 실행할 수 없는 지속성 문제, 언어 선택이 결과에 미치는 영향, 바이너리·이미지 같은 멀티모달 데이터를 샌드박스 밖으로 안전하게 꺼내는 문제, 작은 모델로 비용을 낮출 때의 성능 저하가 남아 있다.
9. 11:44
   Harbor로 Code Mode 평가하기 Arize는 Phoenix와 Harbor를 사용해 에이전트를 샌드박스 환경에서 반복 실행하고, 네트워크를 끈 상태에서 여러 변형을 시험해 flake를 줄인다. 각 과제에 대해 통과 여부를 0/1로 채점하고 pass at K로 평가해, 불안정한 에이전트 동작을 체계적으로 비교한다.
10. 12:55
    결과: 토큰 43% 절감, 비용 31% 절감 Harbor 실험에서 Code Mode 도입 후 토큰 사용량은 43% 줄고 비용은 31% 감소했으며, 지연 시간은 거의 비슷하게 유지됐다. 트라젝토리와 평가 결과를 함께 보면 새로운 도구 추가나 지시 변경이 성능에 미치는 영향을 분석해 에이전트를 점진적으로 개선할 수 있다.
11. 13:59
    핵심 정리 Code Mode는 턴 수를 줄이고 더 저렴하게 만들면서도 장기적이고 emergent한 작업을 가능하게 하므로, 에이전트에는 도구만이 아니라 샌드박스를 주는 편이 더 유리하다. 그리고 그 동작은 반드시 평가 도구로 검증해야 한다.

실무 인사이트

• 도구를 늘리는 대신 샌드박스와 실행 환경을 설계하면, 에이전트가 필요한 도구를 스스로 조합해 쓰도록 유도할 수 있다.
• 실제 운영에서는 성능 향상만큼이나 시크릿 관리, 권한, 네트워크 경계, 디버깅 가능성이 중요하므로 샌드박스 설계가 제품 경쟁력이 된다.
• 에이전트 개선은 감이 아니라 트라젝토리와 eval을 함께 쌓아가며, 새로운 도구나 지시가 효율을 높이는지 계속 검증하는 방식이 효과적이다.