Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

한 줄 핵심

개인용 에이전트 중심의 현재 설계를 넘어, 그룹 환경에서 에이전트의 보안·메모리·권한·발화 제어를 다시 설계해야 한다는 점을 구체적 사례와 함께 제시하는 발표다.

시간별 요약

1. 0:01
   현재의 에이전트는 모델·오케스트레이션·도구만 있으면 만들 수 있지만, 대부분은 여전히 1명의 사용자를 전제로 설계되어 있다. 다음 단계의 에이전트는 그룹을 대상으로 하며, 안경처럼 하루 종일 착용되는 형태가 될 가능성이 높아 기존과 다른 요구사항이 생긴다.
2. 3:00
   그룹 환경의 에이전트는 DM 전환, 캘린더 조율, 운전 중 음성 응답, 장기 대화 요약, 아동 학습 추적처럼 개인용과 다른 동작을 해야 한다. 이 발표는 그룹 에이전트의 핵심 과제로 보안층, 메모리, 정보 라우팅을 제시한다.
3. 6:00
   에이전트 보안은 LLM 자체를 지키는 방식으로는 부족하고, 에이전트가 실제로 행동하는 지점에서 방어해야 한다. 웹페이지·그룹 메시지·GitHub issue·이메일처럼 공격 표면이 넓기 때문에, 입력 전체를 막기보다 행동 경계에서 deterministic guard와 학습된 분류기를 함께 두는 접근이 필요하다.
4. 12:00
   그룹 에이전트의 메모리는 단순 저장소가 아니라 에이전트의 정체성을 형성하는 실시간 구조다. 모든 대화를 저장하는 대신 atomic fact를 추출하고, 무엇을 저장·잊을지 지속적으로 점수화하며, retrieval을 그래프와 같은 구조로 정교화해야 토큰과 지연을 줄일 수 있다.
5. 16:01
   공유 에이전트는 여러 사람이 같은 모델을 쓰는 것이 아니라 새로운 사회적 계약에 가깝다. 같은 정보라도 맥락에 따라 공개·비공개가 달라지므로, 공통 메모리 위에 사용자별 LoRA adapter를 두고, 언제 말하고 언제 침묵할지를 역할 기반으로 제어하는 설계가 중요하다.

실무 인사이트

• 그룹용 에이전트를 만들 때는 프롬프트보다 먼저 보안 경계와 권한 경로를 설계해야 하며, 특히 행동 직전의 필터링이 핵심이다.
• 장기 대화형 에이전트는 전체 대화 저장보다 중요한 사실만 추출·점수화·압축하는 메모리 전략이 비용과 품질을 함께 개선한다.
• 공유 에이전트의 품질은 응답 정확도뿐 아니라 '누구에게 언제 말할지'를 제어하는 정책 설계에 크게 좌우된다.