모델 구조 공부하시는 분들께 권하는 리포트, Kimi K3

한 줄 핵심

Kimi K3는 2.8T MoE 규모와 100만 컨텍스트를 바탕으로, 어텐션·MoE·위치 인코딩을 연속적으로 기울여가며 오픈 모델의 스케일링 한계를 밀어붙인 사례다.

시간별 요약

1. 0:00
   Kimi K3는 단순한 신모델 소개가 아니라, K2에서 K3까지 이어진 구조적 발전과 오픈 모델의 스케일링 전략을 되짚는 보고서다. 2.8T 파라미터, 104B 액티베이션, 896 experts 중 16개를 쓰는 MoE, 100만 컨텍스트, 그리고 GPT-5.5·Opus 4.8과 비교되는 벤치마크가 핵심 배경으로 제시된다.
2. 6:00
   어텐션 발전의 핵심은 “다 보되, 덜 비싸게 보자”로 정리된다. 리니어 어텐션과 리커런트 스테이트, 슬라이딩 윈도우 같은 압축·범위 축소 방식이 먼저 나오고, 그 부작용인 정보 충돌과 희석을 보완하기 위해 DeltaNet, Gated DeltaNet, KDA처럼 전역 정보를 주기적으로 섞는 하이브리드 구조가 붙는다.
3. 18:02
   Kimi K3의 어텐션은 KDA 3개에 MLA 1개를 결합한 3:1 구조로 정리된다. 여기에 Attention Residual까지 더해 레이어별 기여를 동일하게 누적하지 않고 가중합으로 조절하며, 긴 컨텍스트에서의 정보 보존과 출력 파워 안정화를 동시에 노린다.
4. 25:00
   MoE는 스위치 트랜스포머의 Top-1 라우팅에서 출발해, DeepSeek MoE의 sparse expert 확장과 shared expert 추가를 거치고, Nemotron 계열의 Latent MoE에서 전문가 입력 자체를 압축하는 방향으로 진화한다. Kimi K3는 이 흐름을 받아들여 계산량을 줄인 자원을 더 많은 전문가와 더 큰 표현력에 재투자하는 쪽으로 설계됐다.
5. 32:00
   위치 인코딩은 RoPE를 늘리는 YaRN에서 다시 NoPE로 가는 흐름으로 요약된다. 긴 문맥에서는 위치 정보를 별도 인코딩으로 강하게 주입하기보다, 다음 토큰 예측 과정과 어텐션 구조 자체에 위치 정보가 이미 녹아 있다고 보고, Kimi K3는 NoPE를 채택해 불필요한 병목을 줄이려 한다.
6. 36:02
   후반부는 on-policy distillation과 지식 그래프 기반 태스크 합성으로 이어진다. 작은 모델이 스스로 생성한 출력이나 도메인 특화 teacher를 활용해 학습하고, 그래프 구조로 다양한 문제 조합을 만들어 RL과 범용 태스크 확장을 돕는 방식이 K3 세대의 데이터·학습 전략으로 제시된다.

실무 인사이트

• 긴 컨텍스트 모델을 볼 때는 성능 숫자보다도 어떤 정보를 압축하고 어디서 전역 정보를 다시 섞는지부터 봐야 구조의 의도를 빠르게 이해할 수 있다.
• MoE와 어텐션의 변화는 모두 계산량을 줄이기 위한 압축 전략이므로, 실제 평가는 “정확도”만이 아니라 스케일링 가능성과 안정성을 함께 봐야 한다.
• 실무적으로는 Kimi K3 같은 모델을 그대로 모방하기보다, 압축·전역 섞기·라우팅·위치 인코딩을 각자 시스템의 컨텍스트 길이와 비용 예산에 맞게 조합하는 것이 더 현실적이다.