Your Agent Hates Your CLI - Ayush Bhardwaj, Allos AI

한 줄 핵심

에이전트가 CLI를 우회해 쓰는 흔적은 실패가 아니라 사용자 행동 데이터이며, 이를 읽어 출력 형식·도움말·에러를 바꾸면 도구는 더 잘 쓰이게 된다.

시간별 요약

1. 0:00
   에이전트가 숨겨 둔 우회 패턴 에이전트는 필요한 정보를 얻기 위해 전체 페이지를 내려받거나, 마지막 몇 줄만 읽는 식으로 도구를 우회한다. 이런 반복적 우회는 도구가 답을 찾기 어렵게 만든 신호이며, 별도 피드백 도구가 없어도 자막과 호출 기록 자체에서 이미 문제를 읽을 수 있다.
2. 1:37
   2만 건 호출에서 드러난 오해의 소지가 있는 종료 코드 20,000개 호출을 분석해 보니 많은 CLI가 head, grep, tail 같은 필터와 함께 쓰였고, 특히 읽기 중심 명령에서는 절반이 넘었다. bash에서는 pipefail이 없으면 파이프의 마지막 명령 종료 코드만 반환되어 실패가 성공처럼 보일 수 있고, 반대로 오류 자체가 잘려 모델에 전달되지 않는 경우도 있어, 실패는 짧고 명확하게 드러내고 전체 로그 경로를 함께 남겨야 한다.
3. 2:59
   chat-history CLI 사례 과거 세션을 검색하는 작은 CLI에서 에이전트는 호출 뒤 대부분 grep, sed, head, tail, Python으로 결과를 다시 잘라 썼다. 같은 서브커맨드에 같은 종류의 파이프가 반복되는 패턴은 매번 사용자가 '답이 어디 있는지' 추측하게 만드는 구조라는 뜻이며, 에이전트가 알아서 처리할 수 있다는 주장에도 불구하고 실제로는 같은 우회가 매우 자주 반복됐다.
4. 4:32
   더 작은 조각, 더 압축된 결과, 일괄 요청 출력이 큰 것이 문제라면 전체 길이를 줄이는 것보다 필요한 부분만 고르게 선택할 수 있게 해야 한다. 검색 범위 지정, JSON을 한 줄 요약처럼 압축하는 형식, 여러 세션을 한 번에 조회하는 배치 요청이 있으면 파이프 세금이 줄고 호출 횟수도 줄어든다.
5. 6:33
   스킬과 도움말이 곧 인터페이스 에이전트는 skill.md, help text, error message를 거의 명세처럼 읽으므로, 오래된 안내문은 실제 버그가 된다. 새 플래그를 소개하고 도움말을 업데이트하자 에이전트가 더 이상 예전 우회 경로에 의존하지 않았고, compact 같은 새 출력 형식도 훨씬 자주 사용됐다.
6. 7:36
   전사본을 재현 테스트로 바꾸기 실제 전사본은 이미 자연스러운 평가 데이터이며, 에이전트가 실제로 실행한 명령과 다음 행동이 대략적인 정답지 역할을 한다. 옛 버전과 새 버전에 같은 명령을 재생해 출력 형식, 정렬, 기본값 변경이 어떤 차이를 만드는지 확인하면, 범위/길이 제한 같은 핵심 기능부터 우선순위를 정해 개선할 수 있다.
7. 9:19
   에이전트 모드와 유용한 결과의 측정 에이전트 모드에서는 CLI가 호출 주체를 감지해 사람이 보는 출력과 다르게 보여줄 수 있고, DuckDB처럼 표를 단순화하거나 오류를 JSON으로 돌려줄 수 있다. 다만 토큰 절감만으로는 성과가 보장되지 않으므로, 절약한 토큰보다 에이전트가 더 빨리 정답에 도달하는지 같은 실제 유용성을 봐야 한다.
8. 10:14
   인터페이스를 설계하고 실제 추적 기록으로 검증하기 에이전트에게 도구 설계를 맡기면 흔한 패턴을 답습해 품질이 떨어질 수 있으므로, 먼저 사람이 인터페이스를 설계하고 실제 전사본으로 검증해야 한다. 트랜스크립트는 제품 분석 데이터와 같아서, 어떤 호출이 반복되는지, 어떤 우회가 생기는지, 어떤 설명이 잘못됐는지를 읽으면 도구를 더 잘 맞출 수 있다.

실무 인사이트

• 에이전트용 도구는 기능보다 출력의 구조가 더 중요하므로, 검색 범위·요약 형식·기본값·에러 메시지를 먼저 설계하면 우회 호출을 크게 줄일 수 있다.
• 실제 트랜스크립트를 정기적으로 훑어 반복되는 파이프 패턴과 재시도 패턴을 찾으면, 사용성 문제를 제품 분석처럼 빠르게 발견할 수 있다.
• 평가는 토큰 수보다 재현 테스트에서의 정답률, 재시도 감소, 한 번에 필요한 정보 도달률을 기준으로 잡아야 한다.