Ending AI Slop — Thais Castello Branco, Taste Labs

한 줄 핵심

주관적 영역의 AI 슬롭을 줄이려면 모델 자체를 더 똑똑하게 만드는 것보다, 무엇이 좋은지 분해해 측정 가능하게 만들고 인간 취향을 고품질 데이터로 구조화해야 한다.

시간별 요약

1. 0:13
   Taste Labs는 AI slop을 끝내는 것을 목표로 하며, 이를 위해 디자인·글쓰기·감성 지능처럼 주관적인 영역을 분해해 이해하고 해결하는 데이터·인프라 계층이 필요하다고 본다. 이 접근은 foundation model부터 agent까지 전 스택에 걸쳐 적용된다.
2. 2:01
   코드와 수학은 검증 가능하고 측정 가능하지만, 디자인과 글쓰기는 무엇이 좋은지 정의하기 어렵기 때문에 학습과 평가가 훨씬 복잡하다. 결국 capability는 measurability를 따라가므로, 주관적 영역도 먼저 측정 가능하게 바꾸는 것이 핵심이다.
3. 4:01
   좋은 디자인은 대상, 상황, 시간에 따라 달라지므로 단일 정답이 아니라 맥락 의존 문제로 봐야 한다. 브랜드를 색상, typography, motion, texture 같은 요소로 분해하면, 막연한 '좋음'을 검증 가능한 규칙과 ground truth로 바꿀 수 있다.
4. 7:00
   주관적 영역에서 AI slop이 느껴지는 이유는 모델이 가장 가능성 높은 평균값으로 수렴하는 경향, 즉 collapse to the mean 때문이다. 창의성과 우수성은 종종 분포의 끝단에 있으므로, 의도적으로 분포를 넓히고 인간 판단이 필요한 부분과 환경으로 풀 수 있는 부분을 나눠야 한다.
5. 11:01
   주관적 데이터의 품질은 누가 어떤 취향과 맥락을 가졌는지까지 포함해 설계해야 높아진다. 전문가를 엄격히 선별하고, 의견의 specificity를 높이며, 평가 대상과 코드·시각 요소를 정확히 연결하고, 합의가 필요한 항목과 다양성이 허용되는 항목을 구분해야 한다.
6. 15:00
   주관적 도메인에서는 양보다 질이 훨씬 중요하며, 깊은 도메인 이해를 가진 사람들의 고품질 데이터가 잡음이 많은 대량 데이터보다 더 좋은 결과를 낸다. 따라서 문제 분해, 맥락 보존, 인간 취향의 구조화가 주관적 AI의 성능을 좌우한다.

실무 인사이트

• 주관적 과제는 먼저 '좋음'을 항목별로 분해해 평가 기준을 만드는 것이 핵심이며, 전체 점수보다 세부 속성별 신호를 설계해야 한다.
• 데이터 수집 시 전문가의 취향·맥락·대상군을 함께 기록하면, 평균화된 선호가 아니라 다중 선호를 학습하는 구조를 만들 수 있다.
• 브랜드, 스타일, 미학처럼 합의가 어려운 영역은 인간 QA를 '정답 검수'가 아니라 '분기 신호 탐지'로 운영해야 한다.