What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI

한 줄 핵심

AI 엔지니어의 핵심 역할은 개별 AI 기능을 만드는 것이 아니라, 트레이스·평가·재실행이 자동으로 돌아가는 에이전트 시스템을 설계해 제품을 계속 개선하는 것이다.

시간별 요약

1. 0:00
   AI 엔지니어는 무엇을 하는가? AI 엔지니어의 역할 정의는 매년 바뀌며, 지금은 단순히 LLM을 쓰는 수준을 넘어 더 높은 추상화 계층에서 시스템을 설계하는 쪽으로 이동하고 있다.
2. 0:38
   Karpathy의 퍼널: 누가 수천 개의 에이전트를 운용하는가 대부분의 사용자는 LLM을 한 번쯤 써보는 수준이지만, 최전선의 소수는 동시에 수천 개의 에이전트와 항상 켜진 에이전트를 운용하는 단계에 들어섰다.
3. 1:45
   코드에서 에이전트 공장으로의 추상화 상승 개발의 중심은 더 이상 사람이 코드를 직접 작성하는 데 있지 않고, 내부에서 여러 에이전트를 돌리는 팀이나 공장을 만들 수 있는 구조를 갖추는 방향으로 이동하고 있다.
4. 2:23
   과거와 현재: 기능이 아니라 루프를 만든다 이제는 AI 기능 자체를 만드는 것보다 그 기능을 생성·검토·평가·개선하는 전체 루프를 설계하는 일이 중요하며, 사람의 코드리뷰와 관측을 에이전트와 eval로 대체하는 방향이 핵심이다.
5. 3:31
   신호: 트레이스를 읽는 항상 켜진 에이전트 Signal은 트레이스와 텔레메트리를 읽어 문제를 찾고, 이전에 본 이슈를 기억하며, 필요하면 저장소에 접근해 수정안이나 PR까지 만드는 항상 켜진 에이전트다.
6. 4:45
   텔레메트리의 주 소비자는 이제 에이전트다 관측 데이터는 더 이상 사람이 읽는 것에 그치지 않고, 에이전트가 먼저 소비하고 해석하는 대상이 되어야 하며, 그 데이터 자체가 에이전트를 깨우는 트리거가 된다.
7. 5:19
   항상 켜진 에이전트를 깨우는 조건 에이전트는 정해진 주기마다 실행되거나 Slack 메시지, 사용자 불만, 특정 메트릭 변화 같은 이벤트에 의해 시작될 수 있으며, 트리거 설계가 운영의 출발점이 된다.
8. 6:01
   실행 내부: 컨텍스트, 샌드박스, 프록시 에이전트 실행에는 트레이스, 외부 데이터, 저장소 접근권, 필요한 키가 모두 샌드박스 안에 들어가고, 정보의 출입은 단일 프록시로만 이루어지며 모든 동작은 추적된다.
9. 7:11
   무엇이 남고 무엇이 사라지는가 실행이 끝나면 결과와 이슈 기록, 실행 중 쌓인 트레이스와 배운 내용은 남지만, 샌드박스와 자격 증명, 저장소 접근 권한 같은 일회성 상태는 제거된다.
10. 8:13
    지속 가능한 에이전트 설계 샌드박스나 하네스가 실패해도 처음부터 다시 시작하지 않도록, 중간 상태를 외부 메모리에 보관하고 실패한 지점부터 재개할 수 있게 만드는 내구성이 중요하다.
11. 9:14
    모델과 하네스에 종속되지 않는 설계 Signal은 Cloud Code, Cursor, Codex처럼 여러 하네스를 지원하고 여러 모델을 바꿔 끼울 수 있게 설계되어, 품질과 비용을 비교하며 에이전트 성능을 평가할 수 있다.
12. 10:21
    평가를 작성하고, 평가자도 평가한다 AI 엔지니어는 PR을 검증하는 eval을 직접 만들고, 그 eval이 인간의 판단과 일치하는지까지 확인해야 하며, 좋은 평가 기준을 정의하는 일이 점점 더 중요해진다.
13. 12:48
    코딩 에이전트를 포함해 모든 것을 추적하라 프로덕션에 들어간 뒤에는 에이전트뿐 아니라 그 에이전트를 만든 코딩 에이전트까지 모두 추적하고, 생성된 텔레메트리를 다시 온라인 eval에 연결해야 한다.
14. 14:17
    랩과 비즈니스의 간극을 줄이기 실험실의 정제된 환경과 실제 비즈니스의 복잡한 데이터 사이의 간극을 메우는 것이 AI 엔지니어의 역할이며, 그 시작점은 전면적인 트레이싱과 평가 체계 구축이다.

실무 인사이트

• AI 엔지니어링의 중심은 모델 성능 자체보다, 문제를 감지하고 개선을 반복하는 운영 루프를 설계하는 능력으로 이동하고 있다.
• 실무에서는 사람이 직접 보는 관측보다 에이전트가 읽고 반응할 수 있는 형태로 텔레메트리와 로그를 설계하는 것이 더 중요해진다.
• 평가 체계는 한 번 만드는 산출물이 아니라, 실제 인간 판단과 계속 맞춰 보며 함께 진화시키는 제품의 일부로 다뤄야 한다.