Perception Agents — Antje Barth, Amazon AGI Lab

한 줄 핵심

화면을 클릭하는 능력만으로는 실제 업무를 끝내기 어렵고, 사람이 보는 것과 같은 맥락을 공유하며 스스로 결과를 검증하는 'perception agents'가 컴퓨터 사용 에이전트의 신뢰성을 끌어올리는 핵심이라고 주장한다.

시간별 요약

1. 0:01
   에이전트는 브라우저와 데스크톱 앱을 조작할 수 있게 됐지만, 계정 생성·초대·예약처럼 여러 시스템을 가로지르는 실제 업무는 끝까지 수행하지 못한다. 개별 클릭과 입력은 가능해도 업무의 경계와 빈틈을 메우지 못해 전체 프로세스가 자주 무너진다.
2. 3:01
   문제의 핵심은 기능 부족이 아니라 신뢰성이다. 코딩은 실행·테스트·검증이 가능해 빠르게 신뢰를 얻었지만, 대부분의 지식노동은 결과가 모호해 단위 테스트처럼 확인할 방법이 없다.
3. 7:02
   사람이 복잡한 업무를 처리하는 방식은 같은 화면과 같은 상황을 공유한 채 함께 맥락을 맞추는 데 있다. 따라서 더 큰 모델보다 필요한 것은 공유 컨텍스트이며, 에이전트도 행동만 하는 존재가 아니라 관찰·계획·실행을 반복하는 루프를 가져야 한다.
4. 11:00
   perception agents는 사용자가 보는 렌더링된 화면을 읽고, 결과를 확인하고, 필요하면 즉시 조정하는 에이전트다. 이를 위해 첫 번째 오픈소스 구성요소로 annotation과 verification을 공개했으며, annotation은 화면에서 선택한 요소와 스타일 정보를 구조화해 지시를 줄이고, verification은 디자인 규칙과 실제 동작을 비교해 자체 검사를 수행한다.
5. 16:00
   이 접근은 웹 화면뿐 아니라 회의 같은 비시각적 상황으로도 확장된다. B devices의 전사 내용을 바로 적용해 수정 작업을 수행하고 검증까지 자동으로 돌리는 데모는, 대화와 화면 작업이 하나의 흐름으로 연결될 수 있음을 보여준다.
6. 19:00
   아직 초기 단계이므로 핵심 방향은 오픈소스로 빠르게 써 보고, 깨뜨리고, 피드백을 받아 반복 개선하는 것이다. 목표는 에이전트가 사람의 일을 대신하는 것이 아니라, 사람들과 함께 더 정확하게 일하도록 만드는 데 있다.

실무 인사이트

• 업무 자동화의 병목은 개별 툴 조작이 아니라 여러 시스템 사이의 빈틈이므로, 에이전트 설계는 액션 능력보다 공유 컨텍스트와 검증 루프에 우선순위를 둬야 한다.
• 실무 적용 시에는 '무엇을 할지'보다 '어떻게 성공 여부를 판정할지'를 먼저 정의해야 하며, 디자인 규칙·업무 규칙·사용자 흐름 같은 검증 기준을 함께 설계해야 한다.
• 사용자 입력을 긴 텍스트로 받기보다 화면 요소 지정이나 회의 전사처럼 구조화된 신호로 바꾸면, 에이전트가 덜 모호하게 실행하고 수정 비용도 줄어든다.