Teaching Agents to Search with NVIDIA Data Designer — Dhruv Nathawani, NVIDIA

한 줄 핵심

NVIDIA Data Designer로 에이전트 행동을 데이터 파이프라인으로 바꾸고, 검색·도구호출·구조화 출력 같은 능력을 합성 데이터로 학습시키는 방법을 보여준다.

시간별 요약

1. 0:00
   에이전트 행동을 데이터 파이프라인으로 바꾸기 원하는 에이전트 행동을 데이터 문제로 정의한 뒤, Data Designer로 합성 데이터 파이프라인을 만들어 모델이 그 행동을 학습하게 하는 전체 워크숍 목표를 설명한다. 예제는 검색이며, 노트북과 GPU, Tavi Search API key, 오픈소스 도구를 준비해 따라갈 수 있다.
2. 3:10
   인터넷 데이터만으로는 충분하지 않은 이유 인터넷 데이터는 품질이 들쭉날쭉하고 원하는 분포를 보장하지 못하므로 정제와 선별이 필요하다고 짚는다. 대신 seed data를 기반으로 현실 세계 분포에 닿아 있는 합성 데이터를 만들면 더 유용한 학습 데이터를 만들 수 있다.
3. 5:12
   반복 프롬프트를 넘는 다양성 같은 프롬프트를 계속 반복하는 방식은 금방 반복 패턴에 빠지고, 특성 간 상관관계나 다중성도 제대로 담지 못한다. 데이터 생성에는 다양성, 제어 가능성, 검증 가능성이 함께 필요하다.
4. 6:23
   seed, sampler, 생성 열 Data Designer는 seed 열로 현실 데이터나 회사 데이터를 입력하고, sampler 열로 난이도나 유형 같은 다양성을 주입한 뒤, 생성 열에서 텍스트·구조화 데이터·코드·이미지까지 만들어내는 DAG 기반 구조를 쓴다. 이렇게 정의된 그래프를 실행하면 원하는 데이터셋을 한 번에 생성할 수 있다.
5. 8:55
   질문과 답변 데이터 노트북 첫 번째 노트북은 Wikipedia 주제를 seed로 받아 질문과 답변 쌍을 만드는 기본 흐름을 보여준다. VLLM과 GPTOSS 120 billion 같은 모델을 로컬에서 사용하며, Wikipedia 토픽 목록을 CSV로 넣고 데이터 생성 구성을 만든다.
6. 10:32
   난이도 샘플러와 분포 질문 난이도를 easy, medium, hard로 나누고 각 난이도에 가중치를 두어 데이터 분포를 조절한다. easy는 직접 조회나 정의형, hard는 더 깊은 설명이나 희귀한 지식이 필요한 형태로 샘플링할 수 있다.
7. 11:35
   프롬프트 템플릿과 구조화된 출력 Jinja 템플릿으로 seed의 topic을 런타임에 삽입해 각 프롬프트를 다르게 만들고, 모델이 더 다양한 데이터를 내도록 유도한다. 동시에 JSON이나 markdown 같은 구조화 출력도 만들 수 있지만, 형식을 지키지 못한 결과는 버린다.
8. 12:44
   몇 개의 레코드 미리보기 preview 모드로 먼저 3개 정도의 레코드를 생성해 실제 데이터 품질을 눈으로 확인한다. 예시 질문은 세계 와이드 웹 같은 주제로 만들어지며, 답을 바로 알기 어려운 형태여서 검색 행동을 유도하게 된다.
9. 13:24
   질문 품질 판정 LLM as a judge를 붙여 생성된 질문의 품질을 점수화하고, 질문·답변·품질 평가를 함께 데이터셋에 담는다. 데이터셋은 Hugging Face로 바로 올릴 수 있고, 충분한 샘플이 쌓이면 통계와 시각화도 가능하다.
10. 14:19
    배치 생성하기 batch mode에서는 원하는 레코드 수를 지정해 질문을 먼저 만들고, 그다음 답변과 평가를 순차적으로 생성한다. 작은 예시로 흐름을 확인한 뒤 대량 생성으로 넘어가는 방식이 데이터 제작의 기본 패턴이다.
11. 15:26
    MCP를 통한 검색 노트북 두 번째 노트북은 MCP를 이용해 에이전트가 외부 검색 도구인 Tavi와 연결되도록 만든다. 목표는 단순 답변 생성이 아니라, 도구를 사용해 웹에서 답을 찾아오는 검색 행동을 모델이 배우게 하는 것이다.
12. 18:00
    검색 궤적 살펴보기 에이전트가 질문에 대해 어떤 검색 쿼리를 날리고, 어떤 URL과 본문을 받아왔는지 검색 궤적을 확인한다. 데이터 생성은 한 번에 끝나는 일이 아니라, 미리보기로 확인하고 프롬프트나 워크플로를 고쳐가며 반복해야 한다.
13. 19:20
    모델이 검색을 배워야 하는 이유 모델은 학습 시점 이후의 최신 정보를 알 수 없기 때문에 검색 능력이 있어야 현재 사건이나 실시간 질문에 답할 수 있다. 검색은 지식 보완 기능이 아니라, 유용한 모델이 되기 위한 핵심 능력이다.
14. 21:39
    BrowseComp와 어려운 질문 검색 능력 평가는 BrowseComp 같은 어려운 벤치마크로 측정하며, 복잡한 질문은 단순 회상으로 풀 수 없고 여러 단계를 거쳐야 한다. 문제를 쪼개고 검색한 뒤 다시 추론하는 과정이 실제 검색 에이전트의 핵심이다.
15. 23:11
    Wikidata 경로를 검색 수수께끼 씨앗으로 쓰기 Wikipedia보다 더 그래프적인 Wikidata에서 여러 hop을 따라가며 seed를 만들고, 그 경로를 바탕으로 답을 바로 알 수 없는 검색 수수께끼를 구성한다. 5~8 hop 정도가 주제를 너무 벗어나지 않으면서도 충분히 까다로운 질문을 만드는 데 유용하다.
16. 26:40
    엔드투엔드 검색 데이터 노트북 세 번째 노트북은 seed entity, 도구 연결, 질문 생성, 검색 실행, 평가까지 한 번에 이어지는 전체 흐름을 보여준다. 여러 hop의 seed를 질문 생성에 끼워 넣고, 검색 도구를 통해 답을 찾아오는 데이터셋을 만든다.
17. 28:36
    도구 지시사항과 예시 호출 검색 에이전트에게는 JSON 형식의 최종 답변, 지원 URL, 짧은 근거를 포함하라는 명확한 지시가 들어간다. 도구를 과도하게 호출하지 말라는 제한과 예시 호출은 in-context learning으로 작동해 올바른 검색 패턴을 학습시킨다.
18. 30:32
    생성된 수수께끼와 추적 기록 살펴보기 생성 결과에서 seed path와 그에 대응하는 검색 질문, 그리고 여러 차례의 tool call로 구성된 reasoning trace를 확인한다. 이런 방식으로 질문과 검색 행위를 함께 담은 데이터셋을 만들 수 있고, 실제 벤치마크 점수 개선도 가능하다.
19. 33:47
    seed 생성과 에이전트 궤적의 차이 seed data를 만드는 규칙적 알고리즘과 실제 검색을 수행하는 에이전트 궤적은 분리해서 생각해야 한다. seed는 deterministic하게 만들 수 있지만, 검색 행동은 그 위에서 도구 호출을 통해 생성된다.
20. 34:29
    SFT와 증류 이 방식의 데이터는 pre-training뿐 아니라 post-training, 특히 SFT에 활용할 수 있다. GPTOSS처럼 좋은 모델로 생성한 합성 데이터를 더 나은 모델에 증류하는 구조도 가능하며, 경우에 따라 단순 증류보다 더 높은 성능을 낼 수 있다.
21. 37:04
    강화학습을 위한 대안 정답 궤적을 미리 만들지 않고, prompts만 남긴 뒤 RL 환경에서 reward function으로 학습시키는 방식도 가능하다. Nemo Gym 같은 도구를 통해 검색형 작업을 강화학습으로 훈련하는 방향을 검토한다.
22. 39:24
    합성 데이터 필터링과 평가 50,000개 seed에서 최종 7,000개의 고품질 SFT 레코드만 남긴 사례처럼, 합성 데이터는 생성보다 필터링이 더 중요할 수 있다. LLM 평가 점수, 질문 길이, 유지 비율 같은 지표로 선별하고, 품질 기준을 반복 조정해야 한다.
23. 41:04
    오래된 출처와 답변 검증 seed와 검증기가 모두 오래되면 정답이 실제로는 바뀌었는데도 맞다고 판단하는 문제가 생긴다. 그래서 정답 검증은 단순 문자열 매칭이 아니라, 최신 정보와 다층 검증을 함께 보는 문제다.
24. 43:08
    모델 판단의 사람 검토 LLM의 판정을 인간 검토자가 다시 확인해 judge의 정확성을 높이는 방식이 제시된다. 검색, 실시간 정보, 사람 검토를 결합해 평가 신뢰도를 확보해야 한다.
25. 45:39
    데이터 생성 관행과 다른 작업들 다양성 우선, 가장 싼 올바른 열 타입 사용, 과잉 생성 후 필터링, 미리보기 반복이 핵심 관행으로 정리된다. 또한 tool을 코드처럼 버전 관리하고 공유 가능한 데이터 생성 코드로 다루는 관점이 중요하다.
26. 47:17
    합성 페르소나와 인구통계 분포 페르소나는 개인 식별정보를 직접 쓰지 않으면서도 현실의 인구통계 분포를 반영하게 만드는 합성 데이터 방식이다. 의료·세무처럼 민감한 영역에서 집계 수준의 패턴은 학습하되 개인 정보는 노출하지 않도록 돕는다.
27. 51:35
    큐레이션, 익명화, 관련 도구 Nemo Curator로 실제 데이터를 정제하고, Nemo Anonymizer로 민감 정보를 익명화하며, Nemo Safe Synthesizer로 안전한 합성 버전을 만든다. 실데이터 큐레이션과 합성 데이터 생성은 경쟁 관계가 아니라 용도에 따라 함께 써야 하는 도구들이다.
28. 53:39
    자료와 페르소나 생성 마지막으로 노트북, 블로그, persona 데이터셋 활용 자료를 안내하고, 각국의 인구통계 자료를 바탕으로 페르소나를 만들어 지역별 맞춤 AI를 만들 수 있다고 정리한다. Census와 probabilistic graphical model을 활용해 국가별 분포를 반영한 페르소나를 확장하는 방향도 제시한다.

실무 인사이트

• 합성 데이터는 단순 생성보다 seed 설계와 필터링이 성패를 좌우하므로, 먼저 현실 분포에 닿는 seed와 품질 기준을 정의한 뒤 대량 생성으로 가는 흐름이 효과적이다.
• 검색형 에이전트를 학습시킬 때는 정답만이 아니라 검색 궤적과 도구 호출 방식까지 함께 데이터화해야 하며, 미리보기와 human review로 검증 루프를 꼭 넣어야 한다.
• 구조화 출력, 검색, 멀티턴 도구호출, 익명화까지 같은 파이프라인 철학으로 묶을 수 있으므로, 데이터 생성 코드를 버전 관리 가능한 자산으로 다루는 것이 재사용성과 확장성에 유리하다.