Loop Engineering from First Principles — Kyle Mistele, HumanLayer

한 줄 핵심

무작정 에이전트에 프롬프트를 반복시키는 방식이 아니라, 측정·피드백·점진적 변경을 갖춘 control loop로 설계해야 대규모 코드베이스에서 실제로 안전하고 효율적으로 AI를 쓸 수 있다.

시간별 요약

1. 0:01
   단순히 prompt를 루프에 넣어 coding agent를 돌리는 방식은 대형 코드베이스와 팀 환경에서 너무 큰 PR과 높은 비용을 만든다. 실제 고객, 규제, SLA가 있는 환경에서는 읽을 수 없을 정도의 결과물을 쌓는 것보다, 사람이 읽고 검증할 수 있는 점진적 개선이 필요하다.
2. 4:01
   control theory를 루프 설계의 기본 원리로 삼아 현재 상태를 측정하고, 목표 상태와의 차이를 줄이는 작은 변경을 반복해야 한다. thermostat, Kubernetes auto scaling, Postgres auto vacuum처럼 널리 쓰이는 제어 루프의 핵심은 과도한 변경을 피하고 시스템을 안정적으로 원하는 상태로 이동시키는 데 있다.
3. 7:00
   agentic control loop는 sensor, controller, actuator로 나뉘며, 각 역할은 deterministic 도구와 agent를 혼합해 구성할 수 있다. ESLint나 AST grep 같은 규칙 기반 센서로 문제를 찾고, agent나 규칙 기반 로직으로 어떤 항목을 고칠지 정한 뒤, coding agent가 실제 코드를 수정하는 구조가 가장 실용적이다.
4. 9:00
   Human Layer의 사례에서는 RPC API를 Effect로 점진 이행하기 위해 AST grep으로 미이행 procedure를 찾고, main 기준의 full scan 결과를 버전 관리해 새 PR이 회귀를 만들지 못하게 했다. controller는 가장 작은 변경부터 고르거나 telemetry를 참고해 오류가 많고 instrumentation이 약한 지점을 우선 선택하며, actuator는 skill과 golden pattern을 바탕으로 코드를 고치고 PR까지 생성한다.
5. 13:01
   루프를 실제로 굴리려면 GitHub Actions 같은 기존 CI를 쓰고, feedback file과 PR label, comment trigger를 붙여 사람이 낮은 마찰로 재조정할 수 있어야 한다. 또한 열린 PR이 있으면 다음 실행을 멈추는 flow control과, 여러 procedure를 나눠 처리하거나 여러 사람에게 분산하는 방식으로 처리량을 키워야 한다.

실무 인사이트

• AI 코딩 루프의 핵심은 생성 능력이 아니라, 무엇을 바꿀지 측정하고 어디까지 바꿀지 제한하는 제어 설계다.
• 실무에서는 agent가 모든 결정을 내리게 하기보다, deterministic 센서와 controller로 안전장치를 두고 actuator만 agent에 맡기는 구성이 더 안정적이다.
• 루프를 도입할 때는 단일 PR의 품질뿐 아니라 PR 적체, 중복 작업, 피드백 반영 속도까지 함께 설계해야 실제 생산성이 오른다.