독자 파운데이션 모델 직접 써보기

한 줄 핵심

국내 독자 Foundation Model을 여러 실사용 과제로 직접 비교해보면, 벤치마크 1위 Motif는 지능형 응답에서 강점이 두드러지지만 코딩·실행형 작업에서는 다른 모델도 장단점이 갈려 체감 성능만으로는 단정하기 어렵다.

시간별 요약

1. 0:00
   국내 독자 Foundation Model 테스트 시작 국내 독자 Foundation Model 사업의 2차 발표 모델들을 직접 써보며 실제로 얼마나 쓸 만한지 확인하려는 문제의식으로 실험을 시작한다. Artificial Analysis Intelligence Index에서 Motif 3, Upstage의 Solla Open, SK Telecom의 A.X K2, LG XA1을 비교 대상으로 잡는다.
2. 0:57
   Motif 탈락 논란과 평가 기준 검토 벤치마크 1위였던 Motif 3가 탈락한 이유를 평가 기준에서 찾으며, 벤치마크·전문가 평가·사용자 평가가 합산되는 구조를 짚는다. 점수와 순위가 비공개된 채 탈락만 발표되는 방식이 논란을 만들 수 있음을 보여준다.
3. 2:23
   비공개 벤치와 전문가 평가의 한계 국내 벤치 공개는 벤치 해킹을 막기 위해 일부러 숨겼을 가능성이 있고, 전문가 평가는 실제 사용보다 서류 중심의 정성 평가에 가깝다는 한계가 드러난다. 작은 모델이 1등을 한 점은 인상적이지만, 평가 방식 자체가 실제 체감 성능을 완전히 대변하지는 못한다.
4. 4:27
   사용자 평가 방식과 낮은 체감 점수 사용자 평가는 AI 스타트업 대표와 일반 국민 평가단으로 구성됐지만, 세부 문항과 배점, 프롬프트 가이드라인이 공개되지 않아 무엇을 기준으로 점수를 줬는지 알기 어렵다. 벤치마크 성적은 좋았는데 사용자 평가가 낮았다는 점이 핵심 의문으로 남는다.
5. 6:21
   테스트할 모델과 접근 방법 정리 직접 서빙이 어려운 대형 모델은 Friendly AI API로, Motif는 제공되는 챗 서비스로, Solla는 상용 Pro4로, A.X는 공개된 하네스가 없어 제외하는 식으로 테스트 범위를 정한다. 실험 통제는 완벽하지 않지만, 각 모델이 제공하는 기본 사용 환경 안에서 최대한 공정하게 비교하려고 한다.
6. 8:02
   저녁 메뉴와 소개팅 장소 추천 비교 간단한 추천 과제에서는 Motif가 빠르고 무난한 답을 내지만, 정보의 구체성은 부족하다. Solla는 실제 식당명과 거리 정보까지 잘 찾아내 가장 실용적인 추천에 가까웠고, X1은 검색과 툴 호출은 했지만 결과의 정교함이 떨어졌다.
7. 13:29
   가스불 상황 판단으로 본 추론력 비교 부산 출장 중인데 서울 집 가스불을 안 끈 것 같다는 상황 판단 질문에서 Motif는 현재 위치와 제약을 제대로 반영하지 못한 다른 모델들과 달리, 현실적 제약을 이해한 응답을 보여준다. 이 과제에서는 단순 정보 검색보다 상황 인지와 추론 능력이 모델 간 차이를 크게 만든다.
8. 15:23
   IMO 수학 문제와 툴 호출 실패 IMO 문제를 넣자 X1은 문제를 이해하는 듯하다가 툴 호출이나 형식 문제로 멈추고, 다른 모델들도 검색을 제대로 활용하지 못한 채 리즈닝만 길어지는 모습을 보인다. 큰 문제에서는 모델 성능보다 툴 사용 안정성과 컨텍스트 관리가 더 중요할 수 있음을 보여준다.
9. 17:56
   허위 물리 질문으로 본 할루시네이션 의도적으로 말이 안 되는 물리 질문을 던졌을 때, 일부 모델은 모른다고 하거나 범위를 벗어난 질문이라고 정리하지만, 다른 모델은 그럴듯한 설명을 지어내며 할루시네이션을 보인다. 어려운 문제에서 정답을 아는 것보다, 모르면 모른다고 말하는 능력이 중요하다는 점이 드러난다.
10. 21:44
    벽돌깨기 웹페이지 코딩 테스트 싱글 웹페이지 벽돌깨기 게임을 만들어 달라는 코딩 과제에서는 모델마다 완성도 차이가 크게 난다. 어떤 모델은 빠르게 만들지만 실행이 안 되거나 시작 버튼이 없고, 어떤 모델은 기본적인 플레이 가능성까지 갖추는 식으로 실사용 격차가 나타난다.
11. 23:35
    Claude 비교와 프론티어 모델 격차 프론티어 모델인 Claude와 비교하면 독자 모델들은 전체적인 코드 품질과 문제 해결력이 아직 한 단계 아래로 보인다. 다만 평가 기준이 절대적 정답보다 체감 품질과 작업 효율에 가까워서, 순위보다 실제 사용 맥락이 더 중요해진다.
12. 25:23
    Solar 코딩 결과와 플레이 가능성 확인 Solar는 벽돌 깨기 게임을 비교적 잘 구현해 실제 플레이까지 가능한 수준을 보여준다. 반면 다른 모델들은 조작이나 물리 반응이 어색해, 코딩 과제에서는 모델별 구현 안정성이 크게 갈린다.
13. 26:22
    댓글 반응과 소규모 모델 체감 수준 댓글에서는 하위 모델들의 수준 차이와 중국 모델 대비 소규모 개발팀의 한계, 그리고 벤치마킹 편향 가능성에 대한 반응이 나온다. 그럼에도 적은 인원으로 꽤 좋은 모델을 만들었다는 점은 높게 평가된다.
14. 27:09
    유머 무협 소설 생성 테스트 무협 유머 소설 생성에서는 모티프가 문맥은 비교적 안정적으로 이어가지만 재미는 부족하고, 다른 모델들은 갑자기 손오공이나 냉장고 할머니 같은 비논리적 요소가 섞여 들어간다. 창의적 글쓰기에서는 자연스러움과 일관성이 기본 전제이며, 이상한 전개는 곧바로 낮은 품질로 체감된다.
15. 31:12
    Fable 비교와 문맥 연결성 평가 Fable의 결과는 웃기진 않지만 문장 흐름과 이야기 연결이 비교적 자연스러워 앞선 모델들보다 안정적으로 보인다. 재미보다도 전후 맥락을 유지하며 글을 끝까지 이어가는 능력이 생성 품질의 핵심으로 드러난다.
16. 32:39
    세차 벤치와 마지막 간이 테스트 세차 벤치에서는 일부 모델이 조건을 잘못 해석해 엉뚱한 답을 내거나 파이썬 코드로 계산해버린다. 단순하지만 조건이 미묘한 질문에서 모델이 문제 구조를 제대로 읽는지가 다시 한 번 확인된다.
17. 33:19
    간이 비교 결론과 Motif 기대감 전체적으로 지능형 응답과 헛소리 억제는 Motif가 가장 인상적이었고, 실제 업무형 작업은 Solla가 더 나아 보인다. 다만 이번 실험은 서빙·퀀타이제이션·하네스가 완전히 통일되지 않은 간이 비교이므로, 최종 평가는 신중해야 한다.
18. 36:04
    시청자 질문과 향후 가능성 논의 Motif의 탈락은 아쉽지만 모델 자체의 잠재력과 향후 컨소시엄·투자 가능성은 여전히 크다고 본다. 한국어·영어 혼용이나 판교어 같은 문제는 파인튜닝으로 개선될 수 있는 영역이라, 독자 파운데이션 모델의 기반 가치 자체는 높게 평가된다.

실무 인사이트

• 벤치마크 1위라도 실제 사용에서는 툴 호출 안정성, 상황 인지, 헛소리 억제 같은 체감 품질이 더 중요하므로, 도입 전에는 반드시 실사용 과제로 검증해야 한다.
• 코딩·검색·추천처럼 도구 의존도가 높은 과제에서는 모델 본체 성능만 보지 말고 하네스와 툴 연동 품질까지 함께 평가해야 한다.
• 독자 파운데이션 모델을 선택할 때는 절대 성능 순위보다, 이후 SFT·RAG·도메인 튜닝에 올리기 좋은 기본 성향과 일관성을 우선 보는 것이 실무적으로 유리하다.