78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble

한 줄 핵심

AI 제품은 A/B 테스트에서 이겼다고 바로 출시할 수 없으며, 실제 사용률·롱테일 품질·비용·모델 의존성·법규를 함께 확인해야 한다.

시간별 요약

1. 0:00
   도입 AI 기능의 A/B 테스트는 일반 제품보다 해석이 까다롭고, 긍정적인 결과는 끝이 아니라 실제 출시 판단을 위한 출발점에 불과하다. GenAI와 LLM을 소비자 제품에 적용할 때는 실험 결과 뒤에 다섯 가지 추가 검증이 필요하다.
2. 1:31
   Bumble의 AI 사진 피드백 기능 Bumble에서는 데이팅 프로필 사진을 개선하도록 AI가 피드백을 주는 기능을 만들었다. 사용자는 무엇이 좋은 프로필인지 잘 모르기 때문에, AI가 사진 개선 방향을 제안해 프로필 완성도를 높이는 흐름을 설계했다.
3. 2:38
   사용자는 원하지만, 실제로는 쓰지 않는다 조사에서는 약 78%가 AI 피드백을 원한다고 답했지만, 실제 A/B 테스트에서는 10~15%만 기능을 사용했다. 따라서 AI에 대한 호감이 곧 사용으로 이어지지 않으며, 앱 안의 기존 행동 흐름에 자연스럽게 끼워 넣고 교육과 노출을 설계해야 채택률이 오른다.
4. 5:19
   평균의 성공이 꼬리 구간의 문제를 가린다 전체 지표는 좋아 보여도, 세부 출력에는 이미 웃고 있는 사람에게 더 웃으라고 하거나 통제할 수 없는 요소를 바꾸라고 하는 등 이상한 피드백이 섞여 있었다. 그래서 평균만 보지 말고, 강한 가드레일과 실제 출력 검토, 사용자 세그먼트·언어별 차이까지 확인해야 한다.
5. 7:54
   대시보드는 초록색인데 비용은 빨간색이다 GenAI는 성능이 좋을수록 비용이 함께 커지며, 최고 품질 모델과 eval 비용까지 더하면 수익성에 부담이 된다. 따라서 처음부터 가장 비싼 모델을 쓰기보다, 왜 AI를 쓰는지와 그 목적이 단기 매출인지 장기 브랜드 가치인지에 따라 예산과 모델 선택을 정해야 한다.
6. 10:37
   성과는 모델에서 나온 것이었다 더 저렴한 모델로 바꾸자 비용은 내려갔지만 정확도도 함께 떨어져, A/B 테스트의 성과가 피드백 개념 자체가 아니라 특정 모델 덕분이었음이 드러났다. 결국 다양한 모델과 프롬프트를 빠르게 재시험할 수 있는 eval과 데이터 기반 실험 체계가 핵심이었다.
7. 11:49
   전 세계 롤아웃이 없을 수도 있다 AI 규제와 법적 리스크는 국가마다 달라서, 한 번 만든 기능을 그대로 전 세계에 배포하지 못할 수 있다. 따라서 초기에 글로벌 배포 가능성, 국가별 제약, 컴플라이언스를 함께 고려해 시장별 전략을 정해야 한다.
8. 13:54
   스스로에게 던져야 할 다섯 가지 질문 AI 기능을 만들 때는 사용 의향이 아니라 실제 사용 여부, 평균이 아니라 실제 출력, 성과 대비 총비용, 최고 모델의 경제성, 그리고 출시 가능한 시장 범위를 먼저 확인해야 한다. 결국 중요한 질문은 A/B 테스트에서 이겼는지가 아니라, 그 기능이 실제로 지속 가능하게 배포될 수 있는가이다.

실무 인사이트

• AI 기능 평가는 설문 호감도보다 실제 행동 데이터와 노출 설계를 중심으로 봐야 한다.
• 출력 품질 점검은 평균 지표보다 세그먼트별 롱테일 오류와 금지 영역을 먼저 잡는 방식이 효과적이다.
• 모델 선택과 롤아웃 전략은 성능만이 아니라 비용, 법규, 시장 범위를 함께 놓고 결정해야 한다.