What if the harness mattered more than the model? - Aditya Bhargava, Etsy

한 줄 핵심

이 영상은 모델 자체보다 하네스가 성능과 안전을 좌우하며, 도구·안전장치·반복 루프·서브에이전트·자기최적화를 잘 설계하면 로컬 오픈소스 모델로도 강한 에이전트를 만들 수 있다고 주장한다.

시간별 요약

1. 0:01
   핵심 주장은 모델이 아무리 좋아도 하네스가 약하면 성능이 제한되며, 반대로 하네스를 잘 설계하면 더 약한 모델도 충분히 실용적인 수준까지 끌어올릴 수 있다는 점이다. 이를 위해 열린 로컬 모델과 강한 하네스에 더 많은 투자를 해야 한다는 방향을 제시한다.
2. 4:00
   Agent와 harness를 거의 같은 맥락으로 두고, Agency라는 언어 수준 도구로 하네스를 구축한다. 단순한 예시로 모델만 쓰면 파일을 읽고 쓸 수 없어 실패하고, 함수 기반 tool을 붙이면 동작이 가능해진다.
3. 12:00
   파일 읽기·쓰기 같은 강한 권한은 기본적으로 위험하므로 interrupt와 handler로 사람의 승인을 받게 만들어 안전성을 확보한다. 이후 partial function application으로 디렉터리를 고정해 권한 범위를 제한하면, 인간 개입 없이도 안전하고 빠르게 작업을 수행할 수 있다.
4. 18:01
   ReAct 형태의 reason-act-observe 루프를 넣으면 에이전트가 테스트 실패를 확인하고, 수정한 뒤 다시 검증하는 흐름으로 안정적으로 문제를 해결한다. 이 단계에서 하네스는 단순 실행기가 아니라 추론·행동·검증을 반복하는 운영 체계에 가까워진다.
5. 22:02
   서브에이전트를 도구처럼 다루면 코드 수정용 에이전트와 Wikipedia 검색 에이전트를 병렬로 운영할 수 있어, 능력을 늘리면서도 컨텍스트 혼잡을 줄일 수 있다. 마지막으로 optimizer를 통해 프롬프트를 정량적으로 개선하면, 감에 의존하지 않고 측정 가능한 방식으로 하네스를 고도화할 수 있다.

실무 인사이트

• 에이전트 품질을 올릴 때는 모델 교체보다 먼저 tool 설계, 권한 제한, interrupt 정책부터 점검하는 것이 효과적이다.
• 반복 작업형 에이전트는 ReAct 루프와 테스트 검증을 기본 구조로 넣어야 실패를 조기에 잡고 신뢰도를 높일 수 있다.
• 기능이 늘어날수록 서브에이전트로 역할을 분리하면 도구 선택 오류와 컨텍스트 오염을 줄일 수 있다.