EP 111. 벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기

한 줄 핵심

독파모 4파전은 벤치마크 1등이 탈락할 수 있는 평가의 복잡함을 드러냈고, 동시에 한국형 파운데이션 모델을 성능뿐 아니라 생태계·하네스·실사용 관점에서 다시 보게 만든 사례다.

시간별 요약

1. 0:00
   독파모 4파전과 3개 선정 이슈 프론티어 모델 경쟁이 격화되는 가운데 독자 파운데이션 모델 사업에서 4개 후보 중 3개를 고르는 상황이 화제가 됐다. 벤치마크도 완전한 객관 기준은 아니라는 전제를 두고, 오늘은 독파모 평가와 각자의 실사용 경험을 함께 살펴보는 흐름으로 시작한다.
2. 2:03
   AAII 벤치마크로 본 한국 독파모 후보들의 위치 AAII 순위를 기준으로 보면 한국 후보들은 미국·중국 프론티어 모델 바로 아래 구간에 분포해 있다. Motif가 한국 모델 중 가장 먼저 상위권에 나타나고, Solar, A.X K2, K-EXAONE 등도 그 아래층에 위치한다.
3. 4:03
   1등 Motif 탈락이 화제가 된 이유 벤치마크 1등인 Motif가 탈락하고 3위권 모델들이 선정되면서, 점수와 결과가 엇갈린 이유가 핵심 쟁점이 됐다. 실제 사용감과 벤치마크의 괴리를 보기 위해 라이브로 모델을 직접 써 본 맥락도 함께 제시된다.
4. 6:27
   독파모 후보 모델들의 규모와 학습 자원 비교 후보 모델들은 대략 200B~700B 규모였고, 오히려 더 작은 모델이 더 높은 점수를 받은 경우가 있었다. pre-training 토큰은 대체로 1T 수준이었으며, context size는 Solar의 1M을 제외하면 대부분 256K였다.
5. 8:20
   데이터셋 출처와 공개성에 대한 아쉬움 Nemotron과 FineWeb2 같은 공개 데이터가 많이 쓰였지만, 실제로 어떤 방식으로 정제·합성됐는지는 충분히 공개되지 않았다. 독파모가 생태계 구축을 목표로 한 사업인 만큼, 레시피와 데이터 출처가 더 투명했으면 좋았다는 아쉬움이 남는다.
6. 10:05
   GPU 지원 조건과 SK텔레콤의 자체 비용 학습 배경 SK텔레콤은 초기 GPU 지원 조건 때문에 정부 GPU를 받지 못했고, 그 시기에는 자체 비용으로 모델을 학습한 것으로 알려져 있다. 이후 정부 지원 범위에 다시 들어오면서 3자 구도가 형성됐고, 실제 학습비용과 GPU-hour는 공개되지 않았다.
7. 13:01
   비공개 벤치마크와 정성 평가로 본 정부 평가 기준 정부 평가는 AAII 같은 공개 벤치마크뿐 아니라 비공개 벤치마크와 정성 평가를 함께 반영했다. 벤치마크 1등과 최종 선정 결과가 달라진 이유는 평가 항목이 모델 순수 성능보다 훨씬 넓었기 때문으로 보인다.
8. 15:06
   모델 성능을 넘어선 생태계 중심의 평가 취지 평가에는 앱 적용성, NPU 협업, 상용 서비스 탑재 여부, 국제기구 협업 가능성 같은 생태계 요소가 포함됐다. 따라서 파운데이션 모델 자체의 지능만이 아니라, 실제 산업과 인프라를 얼마나 넓게 끌어올릴 수 있는지가 중요한 기준으로 작동했다.
9. 19:43
   일반 국민 평가단과 한영 혼용 '판교어' 평가에는 일반 국민 평가단이 포함됐고, 최대한 다양한 인구 구성을 반영하려는 노력이 있었다. 다만 영어가 섞여 나오는 결과는 한국어 사용자 관점에서 아쉬움이 있었고, 이른바 판교어 문제가 실제 평가 포인트로 부각됐다.
10. 21:50
    Agent workflow 관점의 독파모 모델 실사용 테스트 모델을 직접 서빙하지 못한 경우도 많았지만, 제공된 챗 서비스와 API를 통해 툴 호출이 가능한 방식으로 실사용 테스트를 진행했다. 하네스가 붙은 서비스에서는 영어 혼용 문제가 줄어드는 등, 모델 본체와 실사용 경험이 다르게 보일 수 있음을 확인했다.
11. 25:17
    라이브 실사용 결과와 Motif 대 Solar 비교 식당 추천, 헛소리 판별, 수학, 코딩, 창작 같은 다양한 과제를 직접 시켜 본 결과 모델 간 격차는 분명했지만, 기대만큼 명확한 차이는 아니었다. Solar는 실용적 검색과 작업 수행에서 강했고, Motif는 메타인지와 이상 질문 판별에서 특히 뛰어났다.
12. 29:32
    벤치마크를 넘어선 좋은 파운데이션 모델의 기준 벤치마크 점수와 체감 지능은 생각보다 꽤 연동된다는 인식이 생겼다. 동시에 좋은 파운데이션 모델은 당장 일을 잘하는 모델만이 아니라, 후속 튜닝과 생태계 확장에 유리한 체급과 잠재력을 가진 모델이어야 한다는 관점이 제시된다.
13. 31:11
    Motif 석패에서 본 공공 루브릭과 산업계 시각의 간극 산업계는 고점을 보며 문제 해결에 집중하지만, 공공은 저점과 공정성, 전체 만족도를 중시한다. 이 차이 때문에 Motif의 석패는 아쉽지만, 공공 사업의 루브릭상 충분히 이해 가능한 결과라는 해석이 나온다.
14. 34:31
    소버린 AI의 목적과 '독자' 모델의 범위 소버린 AI가 무엇을 위해 존재하는지, 그리고 '독자'가 weight, 데이터, 인프라 중 어디까지를 뜻하는지 질문이 제기된다. 과거의 회의론과 달리 이제는 한국도 충분히 할 수 있고, 국가 주도의 집중 투자가 사회 전체의 역량을 키울 수 있다는 쪽으로 시각이 바뀌었다.
15. 37:37
    독점재의 범용재화와 국가가 독파모에 투자하는 이유 프론티어 모델의 레시피가 생각보다 독점적이지 않다는 점이 드러나면서, AI는 점점 범용재화되는 방향으로 가고 있다. 국가가 투자하는 이유는 단순히 1등 모델을 갖기 위해서가 아니라, GPU·인력·레시피가 사회 전반에 퍼지는 산업적 기반을 만들기 위해서다.
16. 44:36
    모델 출시 페이스와 지속 가능한 생태계 과제 한 번의 선정으로 끝나는 사업이 아니라, 한두 달 단위로 모델과 harness를 계속 출시할 수 있어야 진짜 경쟁력이 생긴다. 독파모는 생태계의 출발점일 뿐이며, 이후에도 빠른 반복과 자본 투입이 이어져야 한다는 문제의식이 강조된다.
17. 48:31
    정부 사업의 양날의 검과 진짜 시장 경쟁 정부 사업은 초기 자원 확보에는 유리하지만, 끝난 뒤에는 훨씬 더 거친 글로벌 시장과 경쟁해야 한다. 오히려 복잡한 루브릭에서 탈락한 Motif가 상업 시장의 open-weight 수요를 더 직접적으로 노릴 수 있게 됐다는 역설도 보인다.
18. 50:36
    Astra 훈련 중단과 Anthropic 논쟁, 암 연구 프론티어 뉴스 Sam Altman의 2주 훈련 중단 발언은 마케팅인지 실제 조정인지 해석이 엇갈린다. 이어서 Anthropic과 protein design, Moderna, 암 치료를 둘러싼 논쟁과 연결되며 프론티어 랩의 연구 방향이 소개된다.
19. 52:43
    Richard Sutton 인터뷰와 continual learning 비전 Richard Sutton은 LLM이 약하다고 보는 대신, 경험을 통해 계속 배우는 agent를 지향한다. per-parameter step size 조절과 지속적 backpropagation 같은 아이디어로 continual learning을 실현하려는 방향이 소개된다.
20. 57:22
    transcript 증강 읽기와 zoomable interface 실험 긴 transcript를 요약하지 않고 오히려 확장해 읽기 위해, 화자 표시·용어 사전·SVG 다이어그램·메모 기능을 붙인 읽기 인터페이스를 실험한다. 종이처럼 길게 읽는 대신, 종횡으로 확대·축소하며 정보를 붙잡는 방식이 인지 부담을 줄여 준다.
21. 1:01:15
    hill climbing의 한계와 큰 그림을 보는 agent workflow 현재 모델은 측정 가능한 지표를 향한 hill climbing은 잘하지만, 큰 그림을 놓친 채 local minimum에 빠지기 쉽다. 그래서 agent workflow는 작은 실험을 병렬로 돌리는 데서 나아가, 조망과 취향 판단까지 포함해야 한다는 문제의식이 나온다.
22. 1:03:58
    조판을 verifiable하게 만드는 프록시 지표 실험 조판처럼 비가시적 품질을 가진 작업은 여백, 행간, 들여쓰기, 정렬 같은 proxy 지표로 어느 정도 검증 가능하게 만들 수 있다. TeX의 Knuth-Plass 알고리즘처럼 이미 연구된 영역에서는 평가 가능한 형태로 문제를 바꾸는 시도가 효과적이다.
23. 1:06:28
    파라메트릭 한글 폰트 생성과 디자인 평가의 어려움 한글 폰트 생성은 베지에 변형 수준을 넘어, 글자 형성 과정을 함수화하는 더 어려운 문제로 확장된다. 초성·중성·종성의 상호 의존성을 반영하면서 Noto 같은 reference font와의 유사도를 학습하려 하지만, 실제로 쓸 만한 폰트를 만드는 일은 아직 매우 어렵다.
24. 1:10:59
    취향이 필요한 디자인 작업과 evaluator의 한계 디자인은 좋은 결과를 알아보는 취향이 없으면 시작조차 어렵고, 반대로 취향이 있어도 모델을 다룰 공학적 언어가 없으면 자동화하기 어렵다. 결국 현재로서는 사람이 방향을 정하고 모델이 그 범위 안에서 반복 최적화하는 구조가 현실적이다.
25. 1:15:19
    20와트로 1T 모델을 돌리는 Sutton의 상상 Sutton은 훨씬 낮은 전력, 예를 들면 20와트로 1T 모델을 돌리는 미래를 상상한다. 이는 현재의 GPU 중심 인프라를 즉시 부정하는 이야기가 아니라, 5~10년 뒤 컴퓨팅과 학습 방식이 어떻게 달라질지를 생각해 보자는 제안이다.
26. 1:17:45
    auto research와 control plane으로 보는 일의 구조 목표와 evaluation metric만 잘 정하면, 모델이 스스로 답을 찾는 auto research 구조가 가능해진다. 이를 위해서는 단순한 코드 작성이 아니라, 반복 루프를 설계하고 통제하는 control plane을 어떻게 만들지가 핵심이 된다.
27. 1:19:55
    편집 스타일 추출과 인간 작업의 프록시화 영상 편집처럼 감각에 의존하는 작업도, 반복된 작업 로그와 평가 기준을 넣으면 스타일을 추출해 proxy를 만들 수 있다. 그렇게 되면 인간은 직접 실행자라기보다 목표 설정과 품질 평가, 그리고 예외 판단에 더 집중하게 된다.
28. 1:22:39
    multi-agent 반복 평가와 개인 작업 방식의 변화 작업은 단일 agent에서 multi-agent 구조로 이동하고 있으며, 각 agent의 trace를 읽어 재평가시키는 방식이 일상화되고 있다. 작업물이 기준을 만족할 때까지 반복시키는 control plane이 생기면서, 사람의 weekly token도 빠르게 소진된다.
29. 1:25:58
    웹 인터페이스만으로 가능해진 프론티어급 작업 환경 프론티어급 작업은 더 이상 로컬 CLI에만 묶여 있지 않고, 웹 인터페이스와 container만으로도 상당 부분 수행할 수 있다. Claude의 chat container처럼 브라우저 기반 환경이 강해지면서, 개발자의 작업 방식 자체가 바뀌고 있다.
30. 1:27:51
    Operator Agent와 작업 자동화의 미래 궁극적인 목표는 사용자가 일일이 개입하지 않아도 Operator Agent가 일을 끝내도록 만드는 것이다. 이번 대화는 독파모 평가에서 시작해, 결국 개인과 조직의 작업 구조를 agent 중심으로 재설계하는 미래로 이어진다.

실무 인사이트

• 독파모를 볼 때는 벤치마크 순위만 보지 말고, 데이터 공개성·하네스 품질·실사용 워크플로우까지 함께 봐야 실제 경쟁력을 판단할 수 있다.
• Agent 기반 업무 자동화는 단일 프롬프트보다 evaluation metric과 control plane 설계가 더 중요하며, 반복 검증 루프를 얼마나 잘 짜느냐가 성능을 좌우한다.
• 디자인·조판·편집처럼 비정량 영역도 proxy 지표와 reference 기반 평가로 일부 자동화할 수 있지만, 최종 판단에는 여전히 사람의 취향과 큰 그림이 필요하다.