Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI

한 줄 핵심

AI 글쓰기는 모델이 좋아져도 여전히 획일적이고 밋밋한 ‘slop’ 문제가 남아 있어, 창의적 글쓰기 품질을 제대로 재려면 토너·톤·사실성까지 포함한 별도 평가 체계와 인간 검증이 필요하다는 내용이다.

시간별 요약

0:00
slop이란 무엇인가 AI가 쓴 글은 흔한 표현을 반복하고 너무 일반적이며, 구체성·일관성·톤이 부족해 읽는 사람이 생성물처럼 느끼게 된다. 모델 성능이 좋아져도 이런 문제는 사라지지 않고 더 많이 퍼지므로, 무엇을 slop으로 볼지부터 분명히 정의해야 한다.
2:41
엉성한 글쓰기를 측정하기 목표는 단순히 slop 단어를 세는 것이 아니라, 글 자체가 얼마나 엉성한지 측정하는 것이다. 이를 위해 Tone-Bench라는 새 벤치마크를 공개하고, 창의적 글쓰기 능력을 평가하는 체계를 만들었다.
3:49
왜 또 다른 벤치마크가 필요한가 소셜 미디어에서 생성형 콘텐츠가 급증하고 있어, 적어도 그 결과물이 쓸 만한 수준인지 확인할 평가가 필요하다. 교육 콘텐츠를 대량 생산하는 조직 입장에서도 AI가 만든 초안을 계속 고쳐야 하는 비용이 커서, 더 나은 글쓰기 평가가 실무적으로 절실하다.
5:44
모델이 내 글처럼 쓸 수 있는가 이 벤치마크는 모델이 화자의 말투와 글투를 얼마나 잘 흉내 내는지 보는 매우 주관적인 평가다. 입력에는 말투 설명, 과거 콘텐츠 예시, 스토리텔링 원칙, 과업 지시를 길게 넣고, 출력된 전체 스크립트를 평가 기준에 맞춰 판정한다.
7:19
10개 스크립트, 5개 초안, 4명의 심사자 벤치마크에는 10개의 스크립트를 사용하고, 각 모델마다 5개의 초안을 생성해 변동성을 함께 본다. 이후 4개의 LLM 심사자가 평가해 최종 점수를 만들며, 여러 번 생성해 분산을 보는 방식이 창의적 과제에서는 특히 중요하다.
9:14
무엇을 측정하는가 평가는 말투 적합성, 글의 완성도, 지시 준수, 조사 정확성, slop 정도의 다섯 축으로 정리된다. 심사자에게는 약 14,000 토큰 분량의 자세한 지침과 예시를 주어, 각 항목을 일관되게 판정하도록 설계했다.
11:10
심사 점수 매기기 방식 심사자는 어느 모델이 썼는지 모른 채 글의 품질만 본 뒤, 먼저 6개 범주 중 하나를 고르고 그다음 등급을 매긴다. 단순한 이분법이나 점수화보다 이런 단계형 분류가 말투 같은 질적 과제에서 더 잘 작동한다.
12:38
심사자는 자기 모델을 선호한다 LLM 심사자는 중립적이지 않고, 특히 자기 계열 모델을 더 높게 평가하는 편향이 있다. 그래서 특정 모델로만 평가하면 결과가 왜곡될 수 있으므로, 서로 다른 모델 계열을 섞고 인간 검증도 함께 넣어야 한다.
13:46
인간 A/B 비교 완전 자동 평가의 한계를 보완하기 위해, 화자와 동료 3명이 1,000개의 A/B 쌍을 수동 비교했다. 전체 문서가 아니라 비교 가능한 구간만 보더라도, 인간 판단을 일부라도 넣는 것이 타당성 확보에 도움이 된다.
14:15
얼마나 비용이 드는가 벤치마크 구축에는 약 500시간의 초기 작업과 수천 달러의 비용이 들었고, 이후에도 규칙 하나나 프롬프트 한 줄을 바꾸는 데 수천 달러가 추가로 소모된다. 창의적 글쓰기 평가를 제대로 하려면 실험 비용이 매우 크므로, 변경을 신중하게 설계해야 한다.
15:20
무엇을 배웠는가 창의적 글쓰기는 한 번에 완벽한 결과를 뽑는 모델보다, 원하는 수준에 도달하는 과정에서 덜 짜증나는 모델을 찾는 문제가 더 중요하다. 대규모 기준에서는 GLM 5.3 flash가 매우 싸고 괜찮으며, Opus 5.5 extra high보다 훨씬 저렴하게 비슷한 결과를 낼 수 있다.
16:21
AI로 더 잘 쓰는 법 좋은 결과를 얻으려면 매우 길고 구체적인 프롬프트에 좋은 예시와 나쁜 예시를 모두 충분히 넣어야 한다. 여러 초안을 싼 모델로 생성한 뒤 더 똑똑한 심사자로 고르고 합치며, 최종적으로는 반드시 사람이 한 번 더 검토해야 한다.

실무 인사이트

창의적 글쓰기 평가는 단일 점수보다 말투, 구조, 사실성, 지시 준수처럼 서로 다른 축을 분리해 봐야 실제 품질 차이를 잡아낼 수 있다.
대량 생성 업무에서는 비싼 모델 한 번보다 저렴한 모델로 여러 초안을 만든 뒤 좋은 부분만 합치는 워크플로가 비용 대비 성능이 더 좋다.
LLM 심사 결과는 편향될 수 있으므로, 모델 계열을 섞은 평가와 소량의 인간 A/B 검증을 함께 넣는 것이 실무적으로 안전하다.