Your Company Has No Model of Itself. Agents Can Build One - Joao Wenzel, Citadel Securities

한 줄 핵심

회사의 전략과 상태를 이해하는 ‘기업용 세계 모델’을 만들기 위해, 에이전트가 문서·Slack·PR·세션 로그를 시간에 따라 업데이트하고 검증하는 기억 계층을 설계해야 한다는 이야기다.

시간별 요약

1. 0:00
   소개 AI engineering 행사에서 발표를 시작하며, 에이전트가 조직 전체에 이미 다양한 도움을 주고 있다는 배경을 깐다.
2. 0:22
   모든 것을 아는 사람 회사 안에서 모든 뒷이야기와 맥락을 아는 사람은 사실 회사의 세계 모델과 같지만, 그런 지식은 확장되지도 않고 기록도 잘 남지 않는다.
3. 1:16
   에이전트가 전략을 도울 수 있는가 전략은 현재 위치, 앞으로 일어날 일, 그리고 그 배경을 묻는 질문으로 정리되며, 이를 답하려면 에이전트가 회사에 대한 풍부한 프로필을 가져야 한다.
4. 1:51
   제도적 기억 계층 조직의 관계, 재조정, 프로젝트의 재범위화, 정치적 맥락까지 담는 제도적 기억 계층이 필요하다는 문제의식이 제시된다.
5. 2:18
   상향식과 하향식 증거 전략 문서와 상태 보고서 같은 정돈된 상향식 자료와, Slack·회의 메모·코드 변경·세션 추적 같은 소음이 큰 하향식 자료를 함께 모아야 실제 상태에 가까워진다.
6. 3:05
   로보틱스의 상태 추정기 빌려오기 오래되거나 불완전한 증거를 다루기 위해 로보틱스의 state estimator 개념을 차용하며, 신호의 최신성·출처의 신뢰도·다른 센서와의 합치 여부를 함께 본다.
7. 4:06
   상태 보고서에서 데이터 꺼내기 PowerPoint XML만 파싱하거나 스크린샷만 읽는 방식으로는 한계가 있어, XML과 비전 모델 결과를 함께 써야 정확도가 올라간다. 또한 한 번의 슬라이드가 아니라 시간이 쌓인 기록 전체를 연결해 조직의 변화 이력을 만들어야 한다.
8. 6:11
   루프: 업데이트, 노화, 관찰, 채점, 수정 기업의 상태 모델은 update, age, observe, grade, correct의 반복 루프로 구성되며, 에이전트가 제안하고 코드와 사람이 기록을 갱신하는 구조가 핵심이다.
9. 6:57
   왜 retrieval만으로는 부족한가 단순한 RAG는 Slack 몇 개와 슬라이드 몇 장만 보고 프로젝트가 순조롭다고 오판할 수 있으며, 맥락과 시간적 흐름을 충분히 담지 못한다.
10. 7:21
    업데이트: 시간에 따라 기록 쌓기 매달 새 슬라이드와 이전 기록을 이어 붙이며 장기적인 기록을 만들고, 프로젝트 명칭 변경이나 상태의 실제 근거를 역사적 데이터로 복원한다. 보고된 내용과 실제 증거를 분리해 기록하면 뒤에서 평가하기도 쉬워진다.
11. 9:12
    노화: 모든 사실에는 반감기가 있다 모든 사실은 시간이 지나면 신뢰도가 떨어지므로, claim마다 날짜를 붙여 최근성 편향을 적용해야 한다. 실제로 일정은 자주 밀리기 때문에, 과거의 예측과 현재의 상태를 연결하는 시간 정보가 중요하다.
12. 10:12
    관찰: 하나의 큰 패스보다 전문가 에이전트 전체 코퍼스를 한 번에 YOLO식으로 돌리면 세부 정보가 많이 사라지므로, 역할이 나뉜 specialist agent들이 각각의 단서를 찾아 검토하는 워크플로가 더 효과적이다.
13. 11:12
    채점: 다음에 무엇이 어긋나는지 역추적하기 과거 시점의 스냅샷으로 백테스트를 돌려, 어떤 경고가 실제로 나중에 문제가 되었는지 확인한다. 이렇게 하면 정확한 예언은 아니더라도 무엇을 우선 살펴봐야 하는지는 꽤 잘 알려준다.
14. 12:12
    수정: 사람에게 올바른 질문 하기 사용자와 이해관계자는 앱·Slack·이메일 등 그들이 있는 곳에서 만나야 하고, 사실을 묻는지 규칙을 묻는지에 따라 피드백 설계가 달라져야 한다. 규칙 수준의 피드백은 한 번의 수정이 여러 출력을 동시에 개선한다.
15. 13:17
    하향식 신호: Slack, PR, 에이전트 추적 회의, Slack, 코드 변경, 에이전트 세션 추적은 각각 다른 신호를 제공하며, 이를 합쳐야 프로젝트의 실제 진행과 의사결정 과정을 더 잘 복원할 수 있다. 다만 신호가 끊겼다고 해서 실제 값이 0이라는 뜻은 아니므로 센서의 유효성을 따로 다뤄야 한다.
16. 15:45
    Citadel Securities의 활용 방식 이 모델은 리더십 대화에서 슬라이드보다 증거의 불일치 지점부터 보게 만들고, 관리자에게 주간 요약을 제공하며, 모든 에이전트가 참조할 수 있는 컨텍스트 계층으로 쓰인다.
17. 16:38
    열린 문제들 서로 다른 시스템에 흩어진 동일 고객 기록을 어떻게 canonical identifier 없이 매핑할지, 그리고 이해관계자 피드백을 언제 자동화하고 언제 사람에게 물을지 같은 문제가 남아 있다.
18. 17:24
    핵심 정리 회사의 모델은 단순한 검색 인덱스가 아니라 state estimator로 봐야 하며, 기록의 축적만큼이나 평가와 피드백 루프 설계가 중요하다. 조직은 지금부터 증거를 모아야 하고, 에이전트와 사람의 협업이 자연스럽게 돌아가도록 만들어야 한다.

실무 인사이트

• 조직용 에이전트는 정적 지식보다 시간에 따라 변하는 상태를 추적할 때 가치가 커지므로, 기록 구조에 날짜·출처·신뢰도·반감기를 기본 메타데이터로 넣는 것이 중요하다.
• RAG로 답을 찾는 방식만으로는 프로젝트의 실제 건강 상태를 놓치기 쉬우므로, 문서·Slack·PR·추적 로그를 함께 보는 다중 신호 설계가 필요하다.
• 실무에서는 자동 업데이트보다 백테스트와 사람 피드백 루프를 먼저 설계해야, 에이전트가 ‘무엇이 틀렸는지’뿐 아니라 ‘다음에 무엇을 봐야 하는지’까지 학습한다.