Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify

한 줄 핵심

Spotify는 추천을 단순한 랭킹 문제가 아니라 자연어로 이해하고 조종할 수 있는 생성형 개인화로 바꾸기 위해, Spotify 카탈로그에 맞춘 semantic ID와 다단계 학습·평가 체계를 갖춘 LLM 시스템을 실제 서비스에 적용하고 있다.

시간별 요약

1. 0:00
   Spotify를 말하게 만들기 Spotify의 추천 시스템을 LLM 네이티브하게 다시 설계한 배경과 목표를 소개한다. 핵심은 음악·팟캐스트·오디오북을 자연어로 다루는 개인화 경험을 만드는 것이다.
2. 0:47
   Spotify의 규모 월간 활성 사용자 760 million명, 184개 시장, 100 million+ tracks에 더해 영상·팟캐스트·오디오북까지 다뤄야 해서 매칭 문제가 매우 복잡하다. 이 규모 때문에 단순 추천보다 더 정교한 개인화가 필요하다.
3. 1:52
   큐레이션에서 추천으로 초기에는 사람이 직접 플레이리스트를 만드는 큐레이션이 중심이었고, 이후 생성·정렬 신호를 활용한 추천으로 발전했다. Discover Weekly 같은 기능이 이 전환을 대표한다.
4. 2:37
   생성형 개인화 사용자와 콘텐츠를 매칭하는 것을 넘어, 각 사용자에 맞게 경험 자체를 동적으로 생성하는 단계로 이동한다. 추천 시스템이 결과를 내는 데서 끝나지 않고 상호작용적으로 경험을 구성해야 한다.
5. 3:02
   추측에서 추론으로, 블랙박스에서 조종 가능하게 개인화를 단순한 랭킹 추측이 아니라 문맥을 따져보는 추론으로 바꾸고, 내부가 보이지 않는 블랙박스에서 사용자가 직접 방향을 바꿀 수 있는 시스템으로 바꾼다. 추천뿐 아니라 설명과 생성까지 가능해야 한다.
6. 4:07
   조종할 수 있는 Spotify DJ Spotify DJ는 개인화된 음악 세션을 즉시 시작할 수 있고, 이후 사용자가 버튼을 눌러 원하는 방향으로 흐름을 바꿀 수 있다. 추천 결과를 수동적으로 받는 것이 아니라 대화하듯 조정하는 경험을 보여준다.
7. 4:37
   프롬프트로 만드는 플레이리스트 고수준 또는 세부 프롬프트로 플레이리스트를 생성할 수 있으며, 예를 들어 오늘 밤 샌프란시스코에서 공연하는 밴드나 러닝을 위한 음악을 요청할 수 있다. 요청에 따라 재생 경험 자체도 동적으로 바뀐다.
8. 5:32
   취향 프로필 자연어로 Spotify가 이해한 취향을 확인하고 수정·보완할 수 있다. 아이들이 함께 듣는 Disney 음악처럼 잘못 학습된 신호를 바로잡거나, 새로운 장르·언어 같은 지향점을 추가할 수 있다.
9. 6:22
   개인 팟캐스트 추천을 넘어 콘텐츠 자체를 생성하는 기능으로 확장된다. 매일 생성되는 개인 맞춤 브리핑처럼, 사용자의 관심사에 맞춘 오디오 콘텐츠를 정기적으로 만들어낼 수 있다.
10. 6:52
    대형 취향 모델 이 모든 애플리케이션을 묶어 제어하는 내부 시스템을 Large Taste Model이라 부른다. 이 시스템은 Spotify의 과거 상호작용과 콘텐츠를 이해하고, 예측과 추론을 결합해 실시간으로 경험을 생성·조정한다.
11. 7:27
    미국 프리미엄 가입자 4명 중 1명이 매일 사용 이 시스템은 미국 프리미엄 가입자 중 약 4분의 1이 매일 상호작용할 정도로 사용량이 높다. 기존 추천 표면에 배포해도 autoplay, podcast discovery, DJ 메시지 반응 등에서 개선 효과가 있었다.
12. 8:03
    모델 학습 방식 이제부터는 모델이 어떻게 학습되는지 설명한다. 핵심은 Spotify 카탈로그를 자연어 LLM이 이해하도록 만드는 semantic ID와 다단계 학습 절차다.
13. 8:18
    Spotify 카탈로그용 semantic ID 팟캐스트 에피소드 같은 콘텐츠 임베딩을 양자화해 이산 토큰으로 바꾸고, openweight LLM의 어휘에 새 특수 토큰을 추가한다. 이후 자연어와 semantic ID를 함께 이해하도록 미세조정한다.
14. 9:03
    자연어 팟캐스트 추천 사용자가 도덕성에 관한 팟캐스트를 자연어로 요청하면, 청취 기록을 semantic ID로 표현해 함께 넣고 모델이 응답한다. 결과는 관련 에피소드의 semantic ID와 함께 왜 추천했는지에 대한 자연어 설명까지 포함한다.
15. 9:33
    NEO: 네 단계 학습 레시피 NEO는 semantic foundation, domain grounding, capability induction, 선택적 post-training의 네 단계로 구성된다. semantic ID를 만들고, 언어 공간에 정렬하고, Spotify 과제를 멀티태스크로 학습한 뒤 필요하면 RL fine-tuning 등을 추가한다.
16. 10:02
    고정 백본으로 도메인 정렬 도메인 정렬 단계에서는 semantic ID와 텍스트 사이의 양방향 매핑을 학습하되 LLM backbone은 고정한다. 이렇게 하면 새 토큰만 학습하면서도 사전학습된 언어 능력이 크게 망가지는 것을 막을 수 있다.
17. 10:52
    기능 주입: 멀티태스크 튜닝 Spotify가 중요하게 여기는 next item recommendation, retrieval 같은 과제들로 멀티태스크 instruction tuning을 수행한다. 전체 가중치를 풀거나 LoRA fine-tuning을 써서 여러 과제를 함께 학습한다.
18. 11:32
    멀티태스크 효과와 cold-start 오디오북 멀티태스크 모델은 단일 과제 모델과 비슷하거나 더 좋은 성능을 보이며 과제 간 상호 학습이 일어난다. 특히 새 콘텐츠 유형인 오디오북 추천처럼 cold-start 문제에서 다른 카탈로그 신호를 활용해 도움이 된다.
19. 12:32
    왜 계속 사전학습보다 고정 정렬이 더 나은가 도메인 정렬을 빼거나 연속 사전학습으로 대체하면 성능이 떨어진다. 특히 연속 사전학습은 task 성능보다도 원래 LLM의 자연어·세계지식 능력을 크게 훼손하므로, backbone을 고정한 정렬 방식이 더 유리하다.
20. 14:02
    Beam search와 제약 디코딩 추론 단계에서는 정확도와 지연시간의 균형을 비교한다. Beam search는 약간 느리지만 정확도가 높고, constrained decoding은 특정 콘텐츠 유형만 고르고 싶을 때 유용하며, top P sampling은 정확도를 크게 떨어뜨린다.
21. 15:02
    운영 중인 하나의 시스템 NEO는 grounded catalog 이해, 자연어 조종 가능성, 검색·추천·설명, 낮은 지연의 tool-free 추론을 하나로 묶은 첫 사례로 제시된다. 이미 프로덕션에서 사용 중이며 산업 규모에서 동작한다.
22. 15:47
    팟캐스트 발견에서 습관적 청취 깨기 이 모델을 쓰면 사용자가 익숙한 패턴에서 벗어나 더 낯선 콘텐츠를 듣도록 유도할 수 있다. 팟캐스트 discovery에서 온라인 성과가 크게 개선되었다.
23. 16:11
    grounded LLM 판정기 추천이 생성형·설명형으로 바뀌면 기존 오프라인 지표만으로는 충분하지 않다. 사용자 프로필이나 행동 신호 같은 실제 데이터에 기반해 LLM judge를 정렬해야 사람의 선호와 더 잘 맞는 평가가 가능하다.
24. 18:16
    LLM 판정기로 평가 세트 확장 Cranfield 스타일 평가 집합을 만들 때 사람의 랭킹 작업은 비싸므로, grounding된 LLM judge로 이를 대체·확장한다. 이렇게 만든 judge는 human system ranking과 0.87 수준의 일치를 보인다.
25. 18:56
    정리 개인화는 이제 생성형 개인화의 시대로 들어갔고, 언어로 조종 가능한 추천 경험이 핵심이 된다. Spotify는 openweight LLM을 통해 이를 실제 서비스 수준으로 구현했다.

실무 인사이트

• 추천 시스템을 고도화할 때는 랭킹 정확도만 보지 말고, 사용자가 자연어로 의도를 바꾸거나 수정할 수 있는 조종 가능성을 제품 요구사항으로 포함하는 것이 효과적이다.
• 도메인 특화 LLM을 만들 때는 backbone을 고정한 채 새 토큰과 도메인 지식을 정렬하는 방식이, 연속 사전학습보다 원래 언어 능력을 덜 훼손하면서 실무 성능을 지키는 데 유리하다.
• 생성형 추천의 평가는 클릭률만으로 부족하므로, 사용자 프로필·행동 로그에 기반한 grounded LLM judge를 함께 설계해야 실제 품질과 사람 선호를 더 잘 반영할 수 있다.