Your AI Agents Shouldn't Care Where They Run - Nikhil Harithas, Factory

한 줄 핵심

에이전트는 특정 실행 환경에 종속되지 말고, 고객이 원하는 VPC·키·컴퓨트에서 동작하도록 추상화된 컴퓨트 레이어로 배포되어야 한다는 주장이다.

시간별 요약

1. 0:00
   소개 Factory의 포워드 배포 엔지니어링은 가장 복잡한 고객의 제약을 현장에서 파악해 제품 전략으로 연결하는 역할이며, 여기서는 Blackstone 같은 대형 금융 기관을 사례로 다룬다.
2. 1:09
   기본값이 통하지 않는 고객 규제가 많고 보안 요구가 강한 고객은 노트북이나 기본 샌드박스 같은 표준 배포 방식으로는 에이전트를 돌릴 수 없고, 자체 컴퓨트·추론·ID·싱글 테넌시를 원한다. 이 환경에서는 에이전트가 누구를 대신해 행동하는지와 어디서 실행되는지가 핵심 문제로 떠오른다.
3. 2:44
   에이전트는 신원을 빌려 쓰면 안 된다 에이전트가 개인의 identity를 임시로 빌려 쓰는 방식은 장기적으로는 한계가 있으며, 에이전트는 결국 약간 비결정적인 애플리케이션으로 다뤄져야 한다. 고객마다 Kubernetes, EC2, G Cloud 등 실행 위치 요구가 달라서 실행 위치와 권한 모델을 유연하게 바꾸는 구조가 필요하다.
4. 4:26
   자체 컴퓨트 도입 단순히 에이전트를 컴퓨터에 설치하는 방식으로는 부족하고, 컴퓨트 생명주기 전체를 추상화해야 한다. Open Compute는 고객 환경 안에서 컴퓨트와 제어를 운영하면서도, 제품을 고객의 보안 조건과 원하는 인프라에 맞춰 배포할 수 있게 하려는 프로젝트다.
5. 5:42
   제어면, 컴퓨트 게이트웨이, 릴레이 에이전트용 아키텍처에서는 데이터 평면과 제어 평면만으로는 부족하고, 컴퓨트 평면을 별도로 분리해야 한다. 클라이언트 요청은 compute gateway를 거쳐 Open Compute driver로 전달되어 VPC 안의 컴퓨트가 생성되고, 이후 릴레이를 통해 외부와 통신하는 형태로 ingress를 피하면서도 상호작용을 유지한다.
6. 9:34
   자체 키 사용과 VPC 내부 유지 LLM 호출도 BYOK 방식으로 고객의 키와 인프라 안에서 처리할 수 있어야 하며, 이렇게 하면 실제 모델 호출까지 고객 VPC 내부에 머물 수 있다. 이 방식은 온프레미스처럼 모든 구성요소를 직접 옮기지 않아도, 에이전트 루프의 비결정적 부분을 고객이 통제할 수 있게 해 준다.
7. 11:21
   컴퓨트 계층의 오픈소스화 컴퓨트 관리 계층은 Factory 고유의 기능이 아니라 컴퓨트를 다루는 일반적인 추상화이므로, 곧 오픈소스로 공개할 계획이다. 이 계층은 pause, resume, destroy, start 같은 생명주기 작업과 템플릿·snapshot 기반의 구성 관리를 표준화한다.
8. 12:24
   스냅샷, 포크, 드라이버 샌드박스에서는 suspend, snapshot, fork가 중요한데, 특히 fork는 에이전트가 하위 작업을 넘겨받아 이어서 수행하는 패턴에 필수적이다. 스냅샷은 S3나 원하는 데이터베이스에 저장하고 secret store로 복원할 수 있어야 하며, driver는 EC2, Kubernetes, sandbox provider 등 다양한 컴퓨트 스토리를 감싸는 역할을 한다.
9. 14:22
   컴퓨트 관리의 어려운 부분 실제 컴퓨트 생명주기에서는 요청이 중간에 누락되거나 ACK가 오지 않는 상황을 다뤄야 하므로, 세션과 샌드박스 간 매핑, 라우팅, 재시도, 상태 bookkeeping이 중요하다. AWS의 8-hour session cap 같은 제약 때문에 snapshot으로 상태를 보존하고 새 인스턴스로 자연스럽게 이어붙이는 설계가 필요하다.
10. 16:44
    에이전트는 실행 위치를 신경 쓰지 않아야 한다 핵심은 에이전트가 어디서 돌아가는지에 관심을 두지 않게 만들고, 고객이 원하는 곳에서 같은 방식으로 실행되도록 추상화하는 것이다. 이렇게 해야 배포 유연성을 높이면서도 고객이 자신의 환경에서 에이전트를 신뢰하고 통제할 수 있다.

실무 인사이트

• 에이전트 제품의 신뢰성은 모델 성능보다 실행 환경의 통제 가능성에서 먼저 결정되므로, VPC·권한·네트워크 경계를 설계의 출발점으로 삼아야 한다.
• 세션 중심 설계보다 컴퓨트 생명주기 중심 설계가 재사용성이 높고, 여러 제품·고객 환경에 같은 추상화를 적용하기 쉽다.
• 긴 실행 시간과 재시작 가능성을 전제로 snapshot, fork, retry, routing을 표준 기능으로 넣어야 대규모 에이전트 운영이 가능해진다.