에이전트가 늘어날수록 사람이 할 일은 줄어듭니다, 대신 판단 기준을 만들어야 합니다 (Arize AI 이승민·진상열님)

한 줄 핵심

AI 에이전트는 더 많이 만드는 것보다 더 잘 기록·평가·반복 개선하는 것이 핵심이며, 기업 경쟁력은 결국 자기 도메인에 맞는 데이터셋과 판단 기준을 얼마나 빨리 축적하느냐에 달려 있다.

시간별 요약

1. 0:00
   인트로 실시간 번역기를 예로 들어, 여러 모델을 바이브 체크가 아니라 정량 평가로 비교해야 한다는 문제의식이 제시된다. 평가 결과를 쌓으면 어떤 모델과 아키텍처가 적합한지 숫자로 확정할 수 있고, 반복 실험을 통해 프롬프트와 규칙이 점점 탄탄해진다.
2. 0:44
   Arize AI 이승민·진상열님 소개 이승민은 캐나다에서 법률 AI와 검색 품질 개선을 하다가 AWS를 거쳐 Arize AI의 아시아 태평양 기술 총괄로 합류한 배경을 공유한다. 진상열은 보안 엔지니어 출신으로 AWS와 카카오모빌리티를 거쳐 Arize AI에서 한국·일본 비즈니스를 총괄하며 파트너십과 고객 확장을 맡고 있다.
3. 2:34
   Arize AI는 어떤 회사인가? Arize AI는 AI와 LLM 가시성, 즉 AI 에이전트의 동작을 엑스레이나 MRI처럼 들여다보게 해 주는 회사로 설명된다. 사람이 건강검진을 받듯 AI도 주기적으로 동작을 기록하고 분석해야 하며, 내부 원인을 모르면 잘못된 답변의 이유를 찾기 어렵다는 점이 강조된다.
4. 11:18
   AI Observability가 중요한 이유 AI Observability는 에이전트의 동작을 모두 기록하고, 그 기록을 평가해 인사이트를 얻는 과정으로 정리된다. 금융·의료·국방처럼 1%의 오류도 허용하기 어려운 도메인에서는 증적 자료와 추적 가능성이 필수이며, 트래블 에이전트처럼 브랜드 리스크를 막기 위해서도 판단 근거를 남겨야 한다.
5. 20:15
   LLM Eval을 넘어 Agent Eval로 평가는 사람, 코드 룰, LLM, 그리고 에이전트 기반 평가로 발전해 왔고, 이제는 인간 전문가 수준의 판단을 흉내 내는 Agent Eval이 필요하다고 설명된다. LLM Eval은 모델과 프롬프트 두 요소만 조정할 수 있어 도메인 지식을 충분히 담기 어렵지만, Agent Eval은 더 복잡한 워크플로를 통해 검색·검증까지 포함한 평가를 수행할 수 있다.
6. 30:31
   공개 벤치마크의 한계와 커스텀 벤치마크 공개 벤치마크는 이미 학습 데이터로 흡수되어 과최적화되기 쉬워 현실 성능을 대표하지 못한다. 그래서 기업마다 자기 도메인의 좋은 것과 나쁜 것을 구별하는 기준을 추출해 커스텀 벤치마크를 만들어야 하며, 그 기준 자체가 결국 회사의 취향과 노하우가 된다.
7. 36:28
   Trace를 데이터셋으로 만들고 Loop Engineering 시작하기 라이브 트레이스를 데이터셋으로 바로 전환해, 잘된 사례와 실패 사례를 모아 별도 데이터셋을 만들 수 있다. 이렇게 쌓인 데이터셋은 에이전트가 어떤 의사결정을 했는지 역으로 분석하고, 그 판단을 반영한 새 에이전트를 설계하는 Loop Engineering의 출발점이 된다.
8. 40:00
   Arize로 AI 에이전트 실시간 추적·평가 시연 실시간 번역기 예시에서 STT, 번역 모델, 응답 속도와 품질을 동시에 추적하고, 평가 표로 모델 선택을 정량화하는 흐름이 시연된다. 바이브 체크 대신 레이턴시와 품질 점수로 의사결정할 수 있으며, 데이터셋과 평가를 쌓으면 모델 교체·미세조정·강화학습까지 이어질 수 있다.
9. 50:14
   Alyx로 도메인 맞춤 데이터셋 자동 생성 Alyx는 허깅 페이스 데이터셋과 사내 트레이스를 함께 보면서 자연어 지시만으로 도메인에 맞는 새 데이터셋을 생성해 준다. 외부 벤치마크로 시작하더라도, 점차 내부 데이터셋으로 결을 맞춰가며 버전 2, 버전 3으로 고도화할 수 있다.
10. 57:03
    AI가 스스로 83번 실험하며 성능을 개선하는 방법 AI가 개입 없이 83번의 실험을 돌리며 검색, 리랭커, 임베딩, 청크 사이즈 등을 바꿔가며 성능을 스스로 개선한 사례가 소개된다. 사람보다 훨씬 빠르게 탐색 가능한 조합을 시험해 더 나은 해답을 찾을 수 있고, 프롬프트도 자동으로 최적화해 버전별로 점진적으로 개선할 수 있다.
11. 1:03:06
    Arize Korea가 AI 커뮤니티에 투자하는 이유 실리콘밸리처럼 커뮤니티를 통해 지식과 네트워크가 순환하는 문화를 한국에도 소개하고 싶다는 목표가 제시된다. 또한 한국에서도 글로벌 에이전트가 나올 수 있도록 데이터셋, 벤치마크, 평가, 트레이싱, 비용 최적화를 지원하고자 한다.
12. 1:05:34
    Dynatrace의 Arize AI 인수, 앞으로 무엇이 달라지나 인수 이후에도 Arize 브랜드와 커뮤니티, 고객 접점은 유지되며, AI뿐 아니라 인프라·애플리케이션·데이터베이스까지 아우르는 토탈 패키지로 확장될 가능성이 언급된다. 운영자 입장에서는 AI 대시보드, 클라우드 인프라, 애플리케이션 도구를 따로 보지 않아도 되는 방향으로의 통합이 기대된다.
13. 1:08:03
    AI 시대에 결국 남는 경쟁력은 ‘취향’ 프롬프트 엔지니어링은 빠르게 평준화되고, 에이전트 오케스트레이션도 루프 엔지니어링으로 흡수될 가능성이 크기 때문에 결국 남는 차별점은 취향이라고 정리된다. 어떤 도메인과 문제를 좋아하는지, 어떤 기준으로 좋은 결과를 판단하는지 같은 개인의 취향이 데이터셋과 에이전트 설계의 출발점이 된다.

실무 인사이트

• 에이전트를 도입할 때는 먼저 모든 동작을 Trace로 남기고, 그다음 평가와 데이터셋 생성을 붙여야 개선 루프가 돌아간다.
• 공개 벤치마크 성능보다 자기 도메인의 커스텀 벤치마크를 먼저 만들면, 모델 선택과 비용 최적화를 훨씬 현실적으로 할 수 있다.
• 기업 경쟁력은 모델 자체보다 사내 판단 기준을 데이터셋으로 자산화하는 능력에서 갈리므로, 도메인 전문가의 기준을 빠르게 수집·정제하는 체계를 만들어야 한다.