"The biggest challenge in your stack? Evals, Evals, Evals" - 2026 State of AI Engineering results

한 줄 핵심

2026 State of AI Engineering 설문은 AI 엔지니어링의 핵심 병목이 여전히 평가(eval)이며, 멀티모델·고비용·쓰기 권한을 가진 에이전트가 표준이 되는 동시에 스택은 더 강하게 표준화되고 있음을 보여준다.

시간별 요약

1. 0:01
   이 설문은 빠르게 변하는 AI 엔지니어링 현황을 매년 정리해 노이즈를 걷어내고 실제 실무 동향을 보려는 목적을 가진다. 올해는 1,048명의 응답을 바탕으로, AI 엔지니어링이 직함보다 역할과 실무 전반에 걸친 분야로 확장되고 있음을 보여준다.
2. 3:00
   업무에서 다루는 모달리티는 text가 압도적이지만, audio는 미사용자 중 56%가 도입 의향을 보여 가장 강한 확장 신호를 보인다. image generation은 만족도가 18%에서 36%로 크게 뛰며, 모델 품질 개선이 실제 업무 활용으로 이어지고 있다.
3. 6:02
   생산 환경에서는 closed models가 94%로 여전히 중심이지만, openweight models도 45%가 사용하며 대부분은 closed models와 함께 병행한다. 모델 선택 기준은 open vs closed가 아니라 quality, agentic capabilities, cost가 핵심이고, reliability는 기준선으로 간주되는 수준에 가까워졌다.
4. 9:01
   cost는 이제 실험적 변수보다 1차적인 엔지니어링 제약으로 자리 잡아, 응답자의 약 3분의 2가 AI 활용 수준을 비용에 맞춰 조정한다. agents는 더 널리 쓰이고 있으며, write access를 가진 비율도 52%에서 89%로 뛰어 실제 시스템 안에서 행동하는 존재로 바뀌고 있다.
5. 12:01
   스택의 가장 큰 문제는 여전히 eval이며, 문제의 종류는 다르지만 평가 자체가 가장 큰 공통 병목으로 남아 있다. inference와 model serving은 가장 많이 구매하고, prompt management는 가장 많이 직접 구축하며, fine-tuning은 아직 대다수에게 보편화되지 않았다.
6. 15:00
   AI는 조직에 더 많은 실험과 더 싼 실패를 가져왔지만, 동시에 리뷰 부담과 깊은 기술 이해 저하 같은 후행 비용도 키웠다. non-developers가 기능을 직접 shipping하는 비율이 높아지면서 소프트웨어 개발의 경계가 느슨해지고, 향후 5년은 AGI 선언, Transformer의 지위 변화, 우주 컴퓨팅 같은 불확실한 베팅이 혼재한 상태다.

실무 인사이트

• AI 제품을 만들 때는 모델 선택보다 평가 체계를 먼저 설계해야 하며, 품질·비용·도구 사용 능력을 함께 재는 지표가 필요하다.
• 에이전트가 쓰기 권한을 가지는 순간부터는 human-in-the-loop, 권한 게이팅, 샌드박싱을 기본값으로 두고 점진적으로 확장하는 편이 안전하다.
• 비용이 핵심 제약이 된 만큼, 멀티모델 라우팅과 사용량 모니터링을 제품 기능이 아니라 운영 체계로 취급해야 한다.