Training Taste — Thais Castello Branco, Taste Labs

한 줄 핵심

AI slop을 줄이기 위해서는 모델 자체를 더 똑똑하게 만드는 것만으로는 부족하고, 디자인·브랜드·의도 같은 주관적 영역을 측정 가능한 구조로 분해해 앱 레이어에서 판단과 검증을 붙여야 한다는 주장이다.

시간별 요약

1. 0:00
   Taste Labs와 슬롭을 적으로 삼는 이유 Taste Labs는 AI slop을 끝내는 것을 목표로 하며, 특히 디자인과 글쓰기 같은 주관적 영역을 해독하는 데 집중한다. 프런티어 모델의 문제를 평가하고, 필요한 후학습 데이터나 RL 환경을 만들어 고치는 방식으로 일한다.
2. 1:33
   디자인이 객관적이 되는 지점과 그렇지 않은 지점 색상 조합, 대비, 정렬처럼 문제 정의와 맥락이 충분히 구체적이면 디자인도 어느 정도 객관적으로 다룰 수 있다. 반면 미학이나 취향처럼 전문가 간 견해 차이가 큰 영역은 데이터와 판단에 더 의존해야 하며, 앱 레이어에서는 모델 출력의 스타일 붕괴를 막는 제약이 중요하다.
3. 2:53
   탁월함과 슬롭을 정의하기 쉬운 이유 훌륭한 결과물은 주목을 끌고, 정성과 장인정신, 진정성이 느껴지며, 단순 평균값을 벗어난다. 반대로 slop은 반복적이고 영혼이 없다는 인상이 강해 상대적으로 정의하기 쉽고, AI가 이런 평균화된 결과를 대량 생산한다는 점이 핵심 문제다.
4. 3:46
   생성은 공짜가 되고, 취향은 평생이 걸린다 생성 비용이 거의 0이 되면서 누구나 웹사이트나 웹앱을 쉽게 만들 수 있게 됐지만, 대부분의 사람은 그만큼 취향과 판단을 훈련하지 못했다. 따라서 해법은 모두가 자동으로 취향을 갖게 하는 것이 아니라, 평균적인 사용자도 더 나은 결과를 만들고 자기 취향을 이해하도록 돕는 구조를 만드는 데 있다.
5. 5:07
   슬롭의 세 가지 징후 슬롭은 반복, 맥락에 맞지 않는 결과, 낮은 의도 해석이라는 세 가지 특징으로 나타난다. 같은 입력이어도 펫숍과 금융회사 웹사이트가 비슷해지는 식의 맥락 붕괴가 특히 문제이며, 시스템은 사용자의 의도를 더 잘 해석해 색과 맥락을 더해줘야 한다.
6. 6:28
   2백만 개 웹사이트가 보여준 것 지난 10년간 2백만 개가 넘는 웹사이트를 분석한 결과, AI 이전부터도 인터넷은 점점 더 획일화되고 있었고, AI 이후에는 그 반복성과 무맥락성이 더 강해졌다. 이를 바탕으로 색상, 타이포그래피, 레이아웃, 대상 독자 같은 특징을 추출해 슬롭을 수치화하려는 접근이 시작됐다.
7. 7:48
   슬롭을 예측하는 작은 분류기, probes 패턴 마이닝으로 구조화 가능한 특징을 뽑아내고, 이를 학습한 작은 분류기들인 probes로 사이트가 AI slop일 가능성을 예측했다. 여러 probe를 결합하면 상당히 높은 정확도로 슬롭을 판별할 수 있었고, 단순히 LLM-as-a-judge보다도 더 잘 작동했다.
8. 10:31
   의도적으로 분포 밖으로 나가기 창의성은 무작위성이 아니라, 카테고리의 규칙과 기대를 이해한 뒤 일부를 의도적으로 벗어나는 방식으로 나온다. 동시에 브랜드의 일관성은 이미 많은 디자인 작업으로 정의되어 있으므로, 이를 제대로 활용해 더 높은 품질의 결과를 유지해야 한다.
9. 11:51
   브랜드를 에이전트가 따를 수 있는 형태로 바꾸기 첫 공개 제품인 brand API는 브랜드 URL을 에이전트가 따르기 쉬운 구체적 구성 요소로 추출하고, 사람이 검증할 수 있는 형태로 바꾼다. 또한 브랜드가 없는 일반 사용자까지 고려해, 미리 정의된 브랜드 시스템을 검색해 활용하는 방식으로 품질을 끌어올리려 한다.

실무 인사이트

• 주관적 영역도 완전히 감각에 맡기지 말고, 색상·레이아웃·대상 독자처럼 설명 가능한 하위 요소로 쪼개면 평가와 자동화가 가능해진다.
• 생성 품질을 높이려면 모델 출력만 개선하기보다, 브랜드 규칙·의도 해석·검증 단계를 앱 레이어에 붙여 스타일 붕괴를 막아야 한다.
• 슬롭 탐지는 거대한 단일 판정보다, 여러 작은 분류기와 명시적 신호를 결합해 점진적으로 점수를 올리는 방식이 실무적으로 유리하다.