[한영자막] Grok Bot 같은 상시 작동 에이전트는 어떻게 작동할까요? | SpaceX 엔지니어 Lee Robinson의 스탠퍼드 강연

한 줄 핵심

상시 작동 에이전트는 단순한 모델 호출이 아니라 서버·가상머신·메모리·도구·평가가 결합된 하네스 아키텍처로 만들어지며, 이를 잘 설계해야 며칠이 아니라 주·개월 단위로 안정적으로 일할 수 있다.

시간별 요약

1. 0:00
   상시 작동 에이전트의 기본 개념 터미널에서 잠깐 실행되는 도구형 에이전트와 달리, 상시 작동 에이전트는 서버와 클라우드에서 계속 살아 있으며 재시작·복구·백그라운드 작업이 가능하다. 사용자가 컴퓨터를 닫아도 계속 일하고, 중요한 변화가 있을 때만 조용히 보고하는 협업형 동작이 핵심이다.
2. 3:01
   에이전트가 가능해진 기술 변화 최근의 변화는 모델이 오래 지시를 따르고, 서브 에이전트로 일을 분할하며, 파일·브라우저·컴퓨터 사용까지 다룰 수 있게 된 점이다. 특히 Slack, 이메일, 일정, 회의 같은 외부 이벤트가 에이전트를 깨우는 구조가 상시 작동성을 실제 제품으로 만든다.
3. 10:01
   서버·가상머신·워크플로 구조 에이전트는 서버에서 상태를 저장하고, 필요할 때 Firecracker 기반 가상머신과 데스크톱 환경을 켜서 파일·브라우저·명령 실행을 맡긴다. 단순 큐가 아니라 실패 후에도 중간 지점부터 재개 가능한 durable workflow를 써야 장시간 작업이 안정적으로 유지된다.
4. 18:01
   하네스와 컨텍스트 엔지니어링 클라이언트와 서버를 연결하는 단일 도구를 두고, 무거운 도구들은 서버에 두는 구조가 하네스를 단순하게 만든다. 도구 정의를 매번 다 넣기보다 필요한 것만 동적으로 불러오고, 파일·서브 에이전트·우선순위 처리로 컨텍스트를 압축해야 비용과 성능이 함께 좋아진다.
5. 28:00
   캐시, 압축, 메모리 운영 원칙 프롬프트 캐시를 최대한 유지하려면 시스템 프롬프트와 도구 정의를 고정된 순서로 관리하고, 긴 출력은 파일로 빼며, 불필요한 대화는 주기적으로 압축해야 한다. 기억은 사용자 고정 사실, 최근 대화 로그, 임시 메모의 층으로 나누고, 나머지는 파일에서 검색하게 하는 편이 가장 실용적이다.
6. 35:01
   학습, 평가, 그리고 다음 단계 상시 작동 에이전트는 SFT와 RL로 도구 사용·지시 따르기·브라우저 조작을 계속 학습하며, 실패는 평가로 연결해 하네스와 모델을 함께 개선한다. 앞으로는 주·개월 단위로 작동하는 에이전트, 더 강한 보안, 더 나은 메모리와 평가가 제품 경쟁력을 좌우하게 된다.

실무 인사이트

• 장시간 에이전트를 만들 때는 모델 자체보다 하네스 설계가 더 중요해지므로, 도구 추가·순서·캐시 유지·재시작 전략을 먼저 표준화해야 한다.
• 사용자에게 바로 묻기 전에 파일 검색, MCP/API, 웹 검색, 컴퓨터 조작 순으로 해결을 시도하게 만들면 불필요한 중단과 비용을 크게 줄일 수 있다.
• 에이전트 제품의 품질은 프롬프트보다 평가·관측성·보안에 의해 결정되므로, 실패 사례를 빠르게 수집해 eval로 되돌리는 운영 루프가 필수다.