Your Finance Agent's Bottleneck Is You — Ramana Siddanth Emani, Auditoria AI

한 줄 핵심

생산용 finance agent의 병목은 모델 성능보다 개발·오케스트레이션 루프의 속도와 인간의 주의력에 있으며, 서브 에이전트·skills·MCP·목표/루프 설계를 통해 사람을 검증자로만 두는 방향으로 가야 한다.

시간별 요약

1. 0:01
   이 세션은 생산 환경에서 agent를 빠르게 배포하려면 모델 교체보다 내부 harness와 개발 루프를 먼저 최적화해야 한다는 문제의식에서 출발한다. 데모는 쉽지만, 실제 고객과 미래 데이터가 들어오면 생산 버그가 급증하므로 병목은 코드 작성이 아니라 운영 구조에 있다.
2. 3:01
   핵심 해법으로 서브 에이전트, work tree, skills, MCP 도구를 제시한다. 작업을 병렬로 분리해 여러 agent가 독립적으로 움직이게 하고, 조직의 작업 절차를 skills로 주입하며, 최소 UX로 여러 도구를 한 화면에서 오케스트레이션하는 구조가 중요하다.
3. 5:01
   버그 수정 흐름은 요구사항 분석, RCA, 로그·trace 수집, TDD, 구현, PR, 리뷰, Docker 빌드, dev/stage 배포, QA 확인까지 agent가 대부분 수행할 수 있다. 사람은 중간 실행을 매번 손으로 처리하는 대신 시작과 최종 검증에 집중해야 한다.
4. 8:01
   금융 분야에서는 규제와 책임 소재 때문에 자율성이 더 까다롭다. agent끼리 검토하더라도 최종 책임은 사람과 통제 체계에 남아야 하며, 이 분야의 병목은 시스템보다 오히려 여러 작업을 동시에 지켜봐야 하는 인간의 주의력이다.
5. 9:00
   더 나아가 목표와 루프를 결합해 agent가 스스로 병목을 발견하고 개선하도록 만든다. 생산 실패를 입력으로 삼아 반복적으로 자신을 개선시키면, 결국 사람은 지시와 최종 검증만 맡고 나머지 실행·수집·수정은 agent가 흡수하는 구조로 바뀐다.
6. 11:02
   고객 사용 패턴을 바탕으로 agent가 백그라운드에서 ‘dreaming’처럼 학습하고, 반복되는 문제를 압축해 시스템 개선에 활용하는 방향이 제안된다. 최종적으로는 사람을 루프에서 완전히 빼기보다, 사람을 throughput ceiling이 아닌 verifier로 재정의하는 것이 목표다.

실무 인사이트

• 생산용 agent를 설계할 때는 모델 교체보다 작업 분할, 병렬 실행, 검증 지점, 배포 후 피드백 루프를 먼저 설계하는 것이 효과적이다.
• 금융처럼 책임이 중요한 도메인에서는 agent 자동화의 폭을 넓히되, 승인·감사·최종 검증은 사람에게 남기는 하이브리드 구조가 현실적이다.
• 여러 도구와 화면을 오가며 직접 조율하는 방식 대신, 한 화면에서 상태·로그·티켓·PR을 통합해 보는 최소 UX가 오케스트레이션 효율을 크게 높인다.