The Half Life of Agent Infrastructure — Ben Kus, Box

한 줄 핵심

AI 에이전트 인프라는 모델·검색·도구가 몇 달 단위로 바뀌므로, 고정된 정답을 고집하기보다 평가와 교체를 전제로 한 적응 가능한 구조로 설계해야 한다.

시간별 요약

1. 0:00
   엑사바이트와 이제는 1조 토큰 Box의 규모는 엑사바이트 단위 데이터와 수십억 단위 사용자, 그리고 곧 10조 토큰에 이르는 AI 사용량으로 바뀌고 있다. 이런 규모에서는 기존 인프라 감각으로는 설명되지 않는 새로운 복잡성이 생긴다.
2. 2:27
   예전에는 통하던 조언 오랫동안은 확장 가능하고 신뢰할 수 있는 플랫폼을 정하고, 그 위에서 더 빠르고 싸고 강한 제품으로 최적화하는 방식이 유효했다. 하지만 지금은 기술 변화 속도가 너무 빨라 그 조언이 더 이상 안정적인 원칙이 아니게 됐다.
3. 4:48
   작년 발표를 이 무대에서 철회하기 지난해의 그래프 기반 에이전트 접근은 당시에는 유효했지만, 이후 더 나은 방식이 등장하면서 빠르게 구식이 됐다. 올바른 답이 틀렸던 것이 아니라, 더 좋은 답이 너무 빨리 나타나는 환경이 문제다.
4. 5:57
   계속 움직여 온 모델 선택 모델 전략은 자체 학습과 fine-tuning에서 frontier model 사용, open-weight model, BYOK/BYOM을 거쳐 adaptive model selection으로 계속 이동해 왔다. 어떤 모델이 더 잘하는지에 따라 크고 작은 모델을 섞어 쓰는 방식이 현재의 유력한 해법으로 제시된다.
5. 7:07
   단일 호출에서 하네스로 에이전트 설계는 단발성 LLM 호출에서 계획형 시스템, 서브 에이전트, 재귀적 에이전트, 코드 실행이 가능한 sandbox, 그리고 결국 사용자가 선택하는 harness 중심으로 계속 진화했다. 핵심은 에이전트를 하나의 모델이 아니라 실행 환경과 통제 구조까지 포함한 시스템으로 보는 것이다.
6. 8:15
   키워드 검색에서 에이전트까지 검색은 BM25에서 embedding 기반 RAG, 그래프, hybrid search를 거쳐 다시 에이전트가 직접 찾는 방식으로 돌아오고 있다. 각 시점마다 가장 그럴듯한 해법은 달라졌지만, 지금 유효한 방식도 곧 바뀔 가능성이 높다.
7. 10:31
   이렇게 빨리 바뀌지 않는 것들 대형 데이터베이스, 접근 제어, 팀 확장, 멀티클라우드 스토리지 같은 인프라는 여전히 수년 단위의 수명을 가진다. 반면 AI 인프라는 모델·하드웨어·기법이 빠르게 바뀌어, 이제는 반감기가 몇 년이 아니라 몇 달로 보일 정도다.
8. 11:37
   몇 달짜리 반감기가 해치는 대상 짧은 반감기는 엔지니어에게는 배운 것이 곧 구식이 되는 스트레스, 스타트업에는 빠른 기술 전환, 구매자와 리더에게는 투자한 기술이 곧 바뀔 수 있는 리스크를 만든다. 결국 경쟁력은 특정 기술을 오래 쓰는 데서가 아니라 바꾸는 능력에서 나온다.
9. 13:49
   출시 다음 날 다시 만드는 일 기술 전환은 팀 사기와 신뢰를 크게 흔들 수 있으며, 특히 이미 잘 작동하는 시스템을 다시 뜯어고칠 때 저항이 크다. 그래서 변경을 기술 문제가 아니라 리더십·문화·조직 문제로 다뤄야 한다.
10. 14:57
    변경은 실수가 아니라는 전달 팀에는 AI 세계에서는 변화가 정상이며 과거 선택이 틀렸다는 뜻이 아니라고 반복해서 알려야 한다. 동시에 하위 구현을 교체할 수 있는 추상화를 만들고, 최소한 6개월 단위로 재검토하는 리듬을 가져가야 한다.
11. 16:04
    트렌드가 아니라 평가로 바꾸기 새로운 흐름이 보여도 그 자체로 바꾸면 안 되고, 같은 입력에 대해 cost, speed, quality, capabilities가 실제로 개선되는지 eval set으로 확인해야 한다. 바꿀지 말지는 유행이 아니라 고객 가치와 측정 결과로 결정해야 한다.
12. 17:13
    변화를 어떻게 다뤘는지로 공급업체 평가하기 플랫폼이나 vendor를 고를 때 현재 기능과 roadmap만 볼 것이 아니라, 지난 6개월에서 1년 동안 변화를 어떻게 처리했는지를 봐야 한다. 여러 번 스스로를 재정의해 온 업체일수록 앞으로도 agent, eval, observability 변화에 대응할 가능성이 높다.

실무 인사이트

• AI 인프라는 기능 비교보다 교체 가능성이 핵심이므로, 초기에 하드코딩된 선택을 줄이고 모델·검색·도구를 바꿀 수 있는 추상화를 먼저 설계해야 한다.
• 에이전트 품질 관리는 트렌드 추종이 아니라 eval set 기반의 회귀 테스트 체계로 운영해야 하며, 재평가 주기를 조직 규칙으로 고정하는 것이 효과적이다.
• 벤더 선정 시 현재 성능만 보지 말고, 최근 6~12개월간 제품이 얼마나 자주 어떻게 바뀌었는지까지 검토해야 장기 리스크를 줄일 수 있다.