Your agent is blindfolded — Johan Lajili, Poolside AI

한 줄 핵심

에이전트가 잘하느냐의 핵심은 모델 성능보다도 작업을 재현·검증할 수 있는 피드백 루프와 테스트 하네스를 얼마나 잘 설계하느냐에 달려 있다.

시간별 요약

1. 0:07
   사람들마다 AI 경험이 극단적으로 갈리는 이유는 greenfield와 brownfield의 차이보다, 에이전트가 실제 상태를 얼마나 잘 확인하고 되돌아볼 수 있느냐에 있다. 새 코드에서는 직관이 잘 맞지만, 레거시 코드에서는 보이지 않는 dead ends와 사용되지 않는 코드가 많아 검증 없는 추론은 쉽게 실패한다.
2. 2:00
   에이전트가 "작동한다"고 말하는 것은 실제로는 주어진 정보와 능력 범위 안에서만 그렇다는 뜻이며, 인간이 로그와 결과를 확인하지 않으면 믿을 수 없는 상태가 된다. 그래서 성공 경험이 있는 사용자는 재시도와 로그 확인으로 이어가지만, 회의적인 사용자는 첫 실패에서 바로 포기하게 된다.
3. 3:00
   Spoolside 같은 CLI 도구는 웹페이지 스크린샷뿐 아니라 로그 수집, 서비스 재시작, 메뉴 이동, 메시지 전송, 이미지 업로드까지 묶어 에이전트가 실제 제품을 사람처럼 시험하게 만든다. 특히 버그를 고치기 전에 먼저 재현하게 하면, 추측이 아니라 검증을 기반으로 수정할 수 있어 신뢰도가 크게 올라간다.
4. 5:01
   핵심은 에이전트 자체가 아니라 에이전트가 잘 일할 수 있는 환경을 만드는 것이다. 코드베이스 개선, 지식베이스 정비, CLI·skill·MCP 같은 인터페이스 설계를 통해 AI가 스스로 확인하고 반복 실행할 수 있게 해야 하며, 그래야 야간 실행이나 다중 에이전트 운영이 현실적이 된다.
5. 7:02
   실무에서는 자동 테스트처럼 기계적이지만 경직된 방식보다, 사람이 직접 확인하듯이 AI가 스스로 문제를 인식하도록 만드는 쪽이 더 유연할 수 있다. 반복되는 sleep, 불필요한 스토리북 실행, 복잡한 권한·로그인 구조 같은 비효율을 찾아내고, 제품 특성에 맞는 검증 방식으로 바꾸는 것이 새 역할이다.

실무 인사이트

• 에이전트를 배포하기 전에 먼저 "재현→수정→재검증" 루프를 도구로 고정하면, 사람의 수동 확인 비용을 줄이면서도 신뢰도를 높일 수 있다.
• 테스트를 자동화하더라도 실제 사용자 행동을 모사하는 검증 경로를 별도로 두면, 너무 경직된 테스트가 놓치는 문제를 잡아낼 수 있다.
• AI 생산성을 올리는 가장 현실적인 방법은 모델을 바꾸는 것보다 코드베이스, 로그, 권한, UI를 AI가 확인하기 쉬운 형태로 바꾸는 것이다.