Distill the LLM, Don't Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash

한 줄 핵심

DoorDash는 LLM을 직접 서빙하기보다 검색·랭킹·개인화에 필요한 의미 이해를 오프라인에서 증류해 네 가지 프리미티브로 재구성함으로써, 기존 시스템을 유지한 채 더 정확하고 확장 가능한 추천·탐색을 만든다.

시간별 요약

1. 0:00
   소개 DoorDash의 검색·개인화에서 LLM을 어떻게 통합하는지 네 가지 프리미티브를 중심으로 설명하며, 기존 추천·검색 시스템에 LLM을 얹는 방식이 아니라 의미 이해를 제품 구조에 녹여내는 접근을 다룬다.
2. 0:47
   탐색의 진짜 병목은 의미 이해 탐색 성능의 핵심 병목은 클릭 최적화가 아니라 사용자 의도와 아이템 의미를 제대로 이해하는 능력이며, LLM은 이 문제를 풀 수 있는 새로운 신호를 제공한다.
3. 1:42
   레스토랑을 넘어선 폭넓은 쇼핑 미션 DoorDash는 식당을 넘어 grocery, retail, pets, gifting까지 다루며, 사용자는 단일 쿼리보다 여러 세션에 걸친 긴 쇼핑 여정을 가진다. 이 전체 여정을 포착하려면 검색, 추천, 컬렉션이 분절되지 않고 연결돼야 한다.
4. 2:52
   네 가지 프리미티브 핵심 구성요소는 LLM supervision, catalog semantics, consumer memory, steerable content generation이며, 이 네 가지가 공유 표현을 만들어 고객 여정을 여러 모델에 걸쳐 연결한다.
5. 3:17
   프리미티브 1: LLM 감독 좋은 결과가 무엇인지 검색·랭킹 시스템에 가르치기 위해 LLM을 감독 신호로 사용한다. 특히 정답이 하나가 아닌 과제에서 graded relevance를 만들고, 이를 학습 목표로 삼는다.
6. 3:27
   왜 참여도는 잘못된 pasta를 랭크하는가 gluten-free pasta 검색에서 인기 있는 일반 spaghetti나 gluten-free white bread가 상위에 뜨는 것은 참여도 최적화의 한계를 보여준다. 사용자가 원하는 것은 인기 상품이 아니라 제약 조건을 만족하는 정밀한 관련성이다.
7. 4:11
   사람 라벨과 행동 신호의 차이 사람 라벨은 비용이 높고 느리며 카탈로그 변화에 금방 낡고, 행동 신호는 풍부하지만 노출·위치·가격·프로모션에 편향된다. 따라서 확장 가능한 추론 신호가 필요하다.
8. 4:46
   골든 라벨 데이터셋 구축 고품질 seed set을 만든 뒤 0/1/2의 3단계 관련성 라벨을 정리하고, 이상 사례는 더 강한 LLM과 세분화된 프롬프트로 재평가한다. taxonomy 정합성까지 맞춰 높은 정밀도의 골든 데이터를 만든다.
9. 5:46
   전체 카탈로그를 위한 미세조정 LLM 라벨러 골든 데이터를 바탕으로 lightweight LLM을 미세조정한 뒤, 이를 전체 카탈로그에 오프라인 적용해 query-item pair의 graded label을 대량 생성한다. 이 라벨은 retrieval과 ranking이 공유하는 목표가 된다.
10. 6:11
    비싼 추론은 오프라인에서, 서빙은 싸게 복잡한 추론은 한 번 오프라인에서 수행하고, 그 결과를 빠르고 저렴하게 서빙 가능한 모델로 증류하는 패턴이 핵심이다. 이렇게 해야 생산 환경에서 품질과 비용을 동시에 맞출 수 있다.
11. 6:21
    두 단계 대조 검색 표준 embedding은 대규모 이커머스에서 exact match, substitute, complement의 차이를 흐리게 만든다. 1단계는 전역 기하를 잡고, 2단계는 hard negative를 재라벨링해 정밀한 관련성 구분을 강화한다.
12. 8:00
    랭커에 관련성 타워 추가 기존 engagement 타워 옆에 ordinal relevance tower를 추가해 LLM이 만든 관련성 라벨을 랭킹 모델에 주입한다. 공유된 bottom layer를 통해 의미적 적합성과 비즈니스 신호를 함께 학습한다.
13. 9:00
    대체가 아니라 증류 LLM으로 기존 검색·랭킹 시스템을 대체하지 않고, 그 reasoning과 이해를 생산 시스템에 증류하는 것이 핵심 원칙이다. 이 방식이 빠른 실험과 대규모 개선을 동시에 가능하게 한다.
14. 9:30
    프리미티브 2: semantic IDs를 활용한 카탈로그 의미 수십억 개 아이템을 다루는 환경에서 sku id만으로는 의미를 알 수 없으므로, taxonomy와 함께 semantic IDs를 사용해 계층적 의미를 부여한다. 이는 세밀한 제어가 가능한 짧은 코드 체계다.
15. 11:00
    학습된 taxonomy semantic ID는 접두어가 넓은 범주를, 뒤 토큰이 더 세밀한 구분을 나타내는 계층 구조를 만든다. 라벨 없이도 데이터에서 학습되며, prefix 비교가 가능해 유사성 판단에 유리하다.
16. 11:50
    교차 카테고리, 콜드 스타트, 롱테일 커버리지 semantic neighborhood는 서로 다른 taxonomy 분기를 넘어 관련 상품을 묶어주고, 새로 들어온 아이템은 sparse ID feature로 빠르게 다룰 수 있다. 희소 아이템도 유사 아이템의 신호를 상속받아 롱테일을 커버한다.
17. 12:55
    결과: 랭킹 MRR 4~5% 향상 semantic IDs는 랭커 개선에서 큰 효과를 냈고, MRR을 4~5% 끌어올리며 전환 성과에도 기여했다. 또한 query reformulation에서도 유의미한 성과가 이어졌다.
18. 13:20
    쿼리 재구성 Sriracha 같은 쿼리는 garlic chili garlic sauce나 sambell ole 같은 더 적합한 탐색 후보로 확장될 수 있다. semantic ID로 카탈로그에 접지된 query graph는 더 관련성 높은 재검색 제안을 가능하게 한다.
19. 14:05
    프리미티브 3: 소비자 기억 사용자 임베딩만으로는 의도와 선호의 이유를 충분히 설명하지 못하므로, LLM이 활용할 수 있는 명시적 memory가 필요하다. 기억은 여러 형태로 소비자를 표현해 재사용 가능하게 만든다.
20. 15:15
    세 가지 시간대의 기억 기억은 장기 선호, 세션 내 실시간 맥락, 명시적으로 진술된 선호의 세 시간대로 나뉜다. 이렇게 나누면 주문 이력과 현재 상황, 사용자의 직접적인 제약을 함께 반영할 수 있다.
21. 15:55
    텍스트, 벡터, 그래프로 된 메모리 블록 소비자 기억은 사람이 읽을 수 있는 text, 모델 입력용 vector, 관계 표현용 graph/tree로 다중 물질화된다. 이 구조는 downstream 시스템이 매번 새로 해석하지 않아도 되게 만든다.
22. 17:04
    컨텍스트 그래프 소비자와 memory concept를 연결한 context graph는 희소하고 다단계인 쇼핑 여정에서 특히 유용하다. 그래프 기반 임베딩은 세밀한 taxonomy 수준에서 기존 방식보다 더 나은 retrieval 성능을 보인다.
23. 17:55
    기억이 사용되는 곳 memory framework는 personalized collections, agentic personalization, retrieval·ranking feature 입력의 세 지점에 적용된다. 같은 기억 표현이 여러 제품 표면에서 재사용된다.
24. 18:20
    프리미티브 4: 조정 가능한 콘텐츠 생성 semantic IDs, memory blocks, graded relevance를 입력으로 삼아 ranked list, carousel title, subcopy 같은 다양한 출력 형식을 생성한다. 이 생성은 다른 모델들과 함께 작동하도록 설계된다.
25. 19:05
    스토어 페이지의 개인화 컬렉션 기존의 고정형 컬렉션 대신 소비자 수준에서 컬렉션을 오프라인 생성해, 상황과 순간에 맞는 row를 만든다. plant-based, cat-only, pantry restocking 같은 맥락에 맞춰 제목부터 아이템까지 구성할 수 있다.
26. 20:33
    pets 카테고리에서의 결과 맞춤형 경험은 실제 성과로 이어졌고, pets 카테고리에서 주문율은 약 1%, 활성 사용자 수는 6% 증가했다. 개인화된 컬렉션이 탐색과 전환에 모두 도움이 됨을 보여준다.
27. 20:48
    세 가지 핵심 요약 탐색은 의미 이해 문제이며, LLM reasoning은 라벨·semantic ID·memory로 증류해야 하고, 한 번 만든 공유 표현은 검색·랭킹·콘텐츠 생성에 모두 활용될 수 있다. 온라인 LLM 호출이 항상 정답인 것은 아니다.

실무 인사이트

• LLM을 제품에 직접 붙이기보다 오프라인에서 라벨·구조·기억으로 증류하면 비용과 품질을 동시에 잡을 수 있다.
• 검색과 랭킹의 품질을 높이려면 클릭 신호보다 graded relevance를 먼저 정의하고, 이를 학습 목표와 평가 지표에 일관되게 반영해야 한다.
• 개인화는 사용자 임베딩 한 가지로 충분하지 않으며, 텍스트·벡터·그래프를 함께 쓰는 다중 표현이 실제 운영에 더 유리하다.