[한영자막] 시그널에서 PR까지: 스스로 고치는 AI 에이전트의 해부학

한 줄 핵심

관측 가능성(observability)을 사람이 그래프를 보는 도구에서, 에이전트가 로그·트레이스·eval을 이용해 문제를 찾고 PR까지 올리는 자동 복구 루프로 바꿔야 한다는 주장이다.

시간별 요약

1. 0:00
   초기 자사 에이전트는 기대만큼 동작하지 않았지만, 그 시행착오가 지금의 Signal과 같은 자동화 제품으로 이어졌다. 관측 가능성의 미래는 인간이 수동으로 디버깅하는 방식이 아니라, 일상적인 운영 작업을 제품 안에 내장해 자동으로 처리하는 방향이다.
2. 2:01
   트레이스와 로그는 에이전트가 어떤 코드 경로를 탔는지 알려주는 핵심 증거이며, evals는 그 위에 추가되는 판단 계층이다. 결국 목표는 시스템이 스스로 고치도록 만드는 것이고, 이를 위해서는 더 많은 텔레메트리를 남기고 에이전트가 이를 연속 루프로 처리해야 한다.
3. 4:01
   이상적인 루프는 에이전트가 먼저 문제를 발견해 이슈를 올리고, 인간은 이후에 충분한 증거를 보고 판단하는 구조다. 사람이 처음부터 티켓을 파고드는 대신, 조사에 필요한 컨텍스트가 미리 정리된 상태로 들어오면 검토와 의사결정 속도가 크게 빨라진다.
4. 6:01
   문제 해결의 출발점은 traces, logs, repo, 임시 파일 등 서로 다른 형태의 데이터를 조합해 정확한 컨텍스트를 만드는 것이다. 로컬에서 Cloud Code나 Cursor로 하던 디버깅을 sandbox와 schedule, event trigger로 옮기면 같은 작업을 상시 자동 실행할 수 있다.
5. 11:02
   Signal은 AX SaaS에서 동작하며 GitHub 이슈 생성, evaluator 생성, data set 추가까지 연결되는 제품 흐름으로 제시된다. 사용자는 harness, sandbox, prompt, skills를 직접 고르면서도, VPC 내부에서 안전하게 운영할 수 있고, 필요하면 로컬 세션으로 이어서 디버깅할 수 있다.
6. 16:00
   Cloud Code 같은 도구를 데이터에 직접 연결해 자동 수정을 시키는 방향은 맞지만, 이를 잘 작동시키려면 skills 설계가 핵심이다. 트레이스에서 필요한 데이터를 정확히 찾고, 파일 형식으로 repo에 넣고, Cloud가 다룰 수 있게 조합 가능하게 만들어야 실제 PR 생성까지 이어진다.

실무 인사이트

• 에이전트 자동화의 성패는 모델 성능보다도 트레이스·로그·eval을 얼마나 잘 구조화해 컨텍스트로 주느냐에 달려 있다.
• 운영 자동복구를 도입할 때는 곧바로 완전 자동 fix보다, 이슈 생성과 증거 수집을 먼저 자동화해 인간 검토 시간을 줄이는 방식이 현실적이다.
• production 연결이 필요한 디버깅 에이전트는 prompt보다 harness, sandbox, skills 설계가 더 중요하므로 보안·VPC 배치와 데이터 경로를 함께 설계해야 한다.