구글 엔지니어가 말아주는 AI 하네스 | AI를 일하게 만드는 네 가지 설계

한 줄 핵심

AI가 일을 끝내게 하려면 모델 성능보다 기억, 도구, 실행 순서, 권한, 검증을 묶는 하네스 설계가 더 중요하다는 점을 설명하는 영상이다.

시간별 요약

1. 0:00
   AI는 코드를 아는데, 왜 일을 끝내지 못할까? 코드를 생성하는 능력과 실제로 파일을 바꾸고 결과를 확인해 작업을 끝내는 능력은 다르다. 모델이 일을 하게 만들려면 도구 연결, 권한 제어, 백그라운드 통신을 포함한 실행 소프트웨어가 필요하다.
2. 0:34
   기억과 맥락: 세션·상태·장기 기억 대화 기록은 작업의 맥락을 담는 세션이고, 상태는 이름·이메일·진행 상태 같은 현재 작업값을 담는 저장소다. 다음 작업에서도 유지할 취향이나 누적 정보는 장기 기억으로 분리해 설계해야 한다.
3. 1:26
   판단을 실행으로 바꾸는 도구와 MCP 모델이 무엇을 해야 하는지 아는 것만으로는 파일이나 외부 시스템이 바뀌지 않으므로 실제 실행 도구가 필요하다. 이런 도구는 함수 형태로 붙일 수 있고, MCP를 통해 외부 도구와 연결할 수 있다.
4. 2:15
   작업 순서와 두 가지 검사 좋은 작업 흐름은 작업을 어떤 순서로 수행하고 다음 단계로 넘길지 정의한다. 코드 검사와 브라우저 검사처럼 서로 다른 검사를 함께 돌리고, 실패가 반복되면 멈추는 재시도 제한도 넣어야 한다.
5. 3:13
   실행 환경과 샌드박스 실제 고객 데이터와 운영 환경을 그대로 맡기지 말고, 복사본과 가짜 데이터를 쓰는 격리된 샌드박스를 두는 것이 안전하다. 접근 가능한 파일과 네트워크 범위를 줄이면 작업의 영향도도 함께 줄어든다.
6. 3:55
   프롬프트 인젝션과 권한 통제 파일이나 입력값 안에 숨어 있는 악성 지시를 새 명령으로 받아들이면 프롬프트 인젝션에 취약해진다. 모델의 주의만 믿지 말고, 권한·자격 증명·네트워크 접근을 소프트웨어로 제한하고 중요한 작업은 승인 절차를 거쳐야 한다.
7. 4:43
   내 컴퓨터 밖으로 나가는 자료 도구가 로컬에서 실행되더라도 그 출력은 모델, 세션 기록, 로그, 장기 기억으로 이동할 수 있다. 따라서 어떤 데이터가 어디로 가고 얼마나 오래 남는지까지 포함해 정보 흐름을 설계해야 한다.
8. 5:29
   완료를 판단하는 기준 작업이 끝났는지는 모델의 주장보다 결과물의 실제 내용으로 확인해야 한다. 예를 들어 다운로드 파일에 필요한 이름과 이메일이 모두 들어 있는지처럼, 정답을 코드로 판정할 수 있는 조건을 명확히 정의해야 한다.
9. 6:08
   자동 검사와 사람의 평가 자동 검사가 맞아도 사용성이 좋은 기능이라는 보장은 없으므로 사람의 평가가 필요하다. 버튼 라벨이 헷갈리는지, 기능을 찾기 쉬운지 같은 경험적 문제는 실제 사용 관점에서 확인해야 한다.
10. 6:55
    좋은 하네스를 고르는 네 가지 질문 좋은 하네스는 무엇을 기억하고, 어떤 도구를 어떤 순서로 쓰며, 어디까지 접근하고, 무엇으로 완료를 판단할지에 대한 답을 제공한다. 이 네 가지가 분명할수록 똑똑한 모델이 실제 업무를 끝낼 가능성이 높아진다.

실무 인사이트

• 모델 성능보다 중요한 것은 작업을 끝내게 만드는 운영 설계이므로, 기억·도구·권한·검증을 한 묶음으로 설계해야 한다.
• 자동화된 검사만으로는 사용성 문제를 놓치기 쉬우므로, deterministic evaluation과 사람 평가를 함께 두는 것이 안전하다.
• 샌드박스와 권한 제한은 보안 장치이면서 동시에 실험 비용을 줄이는 장치이므로, 실제 운영 데이터에 닿기 전에 기본으로 넣는 편이 좋다.