State of Data — Sean Cai, Independent / State of Data

한 줄 핵심

모델 성능의 병목은 이제 컴퓨트가 아니라 실제 업무에서 나오는 고품질 데이터와 검증 가능성에 있으며, 데이터 시장의 주도권은 범용 대형 벤더보다 실제 워크플로우에 붙어 있는 전문 업체와 기업 내 파이프라인으로 이동하고 있다.

시간별 요약

1. 0:12
   전통적인 주석 데이터 시장보다 더 중요한 것은 일반적인 역량을 실제 전문성으로 끌어올리는 데이터이며, 이 시장은 이미 거대한 산업으로 분화되어 있다. 과거의 대규모 라벨링 중심 구조는 이제 일부일 뿐이고, 소스 수급·환경 설계·보상 설계·평가 실행을 전문 업체가 나눠 맡는 분절 구조가 고착되고 있다.
2. 3:00
   모델 성능은 compute, data, talent의 균형으로 결정되는데, 현재는 data가 가장 저평가된 축이다. 특히 상태형 저장 데이터보다 실제 작업의 궤적과 의사결정 흐름을 담은 process-based data가 중요하며, type one 데이터는 실제 워크플로우에서 얻는 현실성이 강한 반면 type two 데이터는 인위적으로 만든 예시라 한계가 분명하다.
3. 6:01
   어떤 분야가 먼저 성숙하는지는 Verifier's Law로 설명할 수 있으며, 작업이 얼마나 잘 분해되고, 무엇이 정답인지 합의가 있고, 실제 정답 예시가 얼마나 자주 생기는지가 핵심이다. code가 가장 먼저 성장한 이유는 GitHub, unit tests, commit messages 덕분에 이 세 조건을 모두 강하게 만족했기 때문이고, biology·security·finance·law 같은 분야는 검증 난도가 높아 데이터가 더 희소하다.
4. 8:01
   많은 벤치마크와 데이터셋은 전문가가 만든 것처럼 보이지만 실제로는 프롬프트로 그럴듯한 과제를 생성하고, 모델이 틀린 사례만 골라 판매하는 Goodhart's law식 구조에 가깝다. 단일 벤치마크 점수는 분포 전체를 대표하지 못하고, 특히 긴 의존 관계와 다단계 추론이 필요한 실제 업무에서는 겉보기 성능과 진짜 성능이 쉽게 어긋난다.
5. 12:00
   다음에 어느 분야가 뜰지는 데이터 수요를 보면 예측할 수 있으며, Anthropic의 cybersecurity와 biological data 수요처럼 데이터 조달 흐름이 제품 출시보다 먼저 움직인다. 로보틱스처럼 모달리티와 연구 질문 자체가 아직 불안정한 분야는 벤더 선택이 곧 연구 선택이 되므로, 특정 모달리티에 고정되기보다 실제 기업 워크플로우를 담는 인프라를 먼저 갖추는 것이 중요하다.

실무 인사이트

• 실무에서는 단일 벤치마크 점수보다 실제 업무 로그, 실패 복구, 장기 의존성이 포함된 평가 세트를 함께 운영해야 모델 개선 방향을 더 정확히 읽을 수 있다.
• 데이터 자산 자체보다 중요한 것은 실제 업무로 들어가는 파이프라인이므로, 데이터 수집부터 재학습·평가까지 이어지는 반복 구조를 먼저 설계해야 한다.
• 신규 도입 분야를 찾을 때는 제품 시장보다 먼저 기업이 어떤 데이터 유형을 사들이는지 추적하면, 다음에 성숙할 애플리케이션 레이어를 더 빠르게 예측할 수 있다.