Your LLM App Returned 200 OK. It Was Still Wrong. — Marina Petzel, Datadog

한 줄 핵심

생성형 AI 앱은 같은 입력에도 결과가 달라지고 비용·보안 리스크가 커서, 기존 golden signals만으로는 부족하며 비용·안전성·품질을 별도로 상시 모니터링해야 한다.

시간별 요약

1. 0:00
   소개 생성형 AI 시대에는 애플리케이션 건강 상태를 판단하는 기준이 바뀌었고, 기존 지표에 더해 새로운 관측 지표가 필요하다는 문제의식을 제시한다.
2. 0:12
   golden signals만으로는 더 이상 충분하지 않다 latency, error, traffic, saturation만으로는 전통적 애플리케이션의 상태는 볼 수 있어도 생성형 AI 앱의 품질·비용·안전성은 파악할 수 없다. 생성형 AI를 위한 별도 관측 체계가 필요하다는 출발점을 만든다.
3. 1:12
   생성형 AI 앱은 다르게 동작한다 같은 프롬프트도 매번 다른 응답을 만들기 때문에 전통적인 회귀 테스트만으로는 충분하지 않다. 또한 토큰 수, 모델, 컨텍스트 창에 따라 비용이 크게 달라져 실시간의 세밀한 비용 추적이 필수다.
4. 2:22
   새로운 공격 벡터 SQL injection이나 XSS 대신 prompt injection, jailbreaking, PII 유출 같은 생성형 AI 특유의 공격을 방어해야 한다. 이런 문제는 단순한 500 에러로는 드러나지 않아 별도의 보안 모니터링이 필요하다.
5. 2:47
   품질은 주관적이다 생성형 AI 출력은 맞고 틀림의 이분법이 아니라 관련성, 정확성, 완전성 같은 스펙트럼으로 평가해야 한다. 서버가 200 OK를 반환해도 사용자에게는 전혀 유용하지 않을 수 있으므로 지속적인 품질 평가를 모니터링에 포함해야 한다.
6. 3:51
   비용 모니터링 LLM 비용은 처리량과 선형적으로 움직이지 않고 예측이 어려워 방치하면 급격히 불어난다. 따라서 비용이 통제 불능으로 치닫기 전에 어떤 요인이 지출을 키우는지 먼저 추적해야 한다.
7. 4:56
   토큰 증가, 모델 변경, 캐시 미적용 호출 컨텍스트 창을 무심코 늘리는 token creep, 더 비싼 모델로 바꾸는 model drift, 캐시가 없어 같은 요청을 반복 결제하는 문제가 비용 폭증의 핵심 원인이다. 특히 중복 호출은 총 지출의 큰 비율을 차지할 수 있어 캐싱과 모델 선택 관리가 중요하다.
8. 6:55
   비용 귀속: 모든 것에 태그를 붙여라 기능, 사용자, 모델, 엔드포인트 단위로 태깅해야 어디서 비용이 발생하는지 정확히 알 수 있다. 이 데이터는 단순한 비용 관리뿐 아니라 제품 우선순위, 부정 사용 탐지, 환경별 인프라 계획에도 직접 쓰인다.
9. 9:15
   안전성 지표 비용을 통제해도 민감정보 유출이나 유해 콘텐츠 생성이 남아 있으면 서비스는 안전하지 않다. 따라서 품질 점수와 별개로 안전성 자체를 측정하는 지표가 필요하다.
10. 9:55
    prompt injection, PII, 유해성, jailbreak prompt injection 탐지율, PII 검출율, toxicity score, jailbreak 시도 탐지 같은 지표로 안전성을 관리해야 한다. 특히 PII는 0%를 목표로 하고, jailbreak는 가능한 한 전부 차단해야 한다.
11. 12:09
    품질 모니터링 비용과 안전성이 정상이어도 출력이 환각이라면 서비스는 실패다. 200 OK 응답이 거짓일 수 있다는 점을 전제로, 최종 사용자 관점의 품질을 별도로 측정해야 한다.
12. 13:19
    다섯 가지 품질 지표 hallucination rate, relevance score, user satisfaction, answer completeness, RAG 품질을 함께 봐야 품질을 입체적으로 이해할 수 있다. 자동 평가와 사람 평가를 섞고, 특히 RAG에서는 검색된 문서의 적절성을 함께 추적해야 한다.
13. 15:43
    전체를 하나로 묶기 전통적인 golden signals는 여전히 필요하지만, 생성형 AI 앱에는 그 위에 비용·안전성·품질이라는 추가 계층이 반드시 얹혀야 한다. 운영은 단순 가동 여부가 아니라 복합적인 건강 상태를 관리하는 문제로 바뀐다.
14. 16:38
    Datadog Agent Observability Datadog의 Agent Observability를 통해 AI 애플리케이션의 상태를 빠르게 파악하고 문제를 찾을 수 있다고 소개한다. 데모와 체험 경로를 안내하며 발표를 마무리한다.

실무 인사이트

• 생성형 AI 앱 운영에서는 '정상 응답'보다 '유용한 응답'을 측정하는 지표 설계가 먼저다.
• 비용 최적화는 단순 예산 관리가 아니라 토큰, 모델, 캐시, 태깅 체계를 함께 설계하는 문제다.
• 보안과 품질은 모델 성능과 별개로 봐야 하며, 안전성·환각·RAG 품질을 분리해 관측해야 한다.