EP 109. 지금은 인퍼런스의 시대: Sionic 토큰 팩토리와 모델 인퍼런스 이야기

한 줄 핵심

모델 성능 경쟁의 중심이 학습에서 인퍼런스로 이동하면서, prefill·decode 분리와 speculative decoding 같은 최적화가 토큰 생산량과 사업 성패를 가르는 핵심이 되고 있다.

시간별 요약

1. 0:03
   사이오닉 AI의 토큰 팩토리 현장을 통해 B300 기반 GPU 센터와 hot aisle containment, 냉각탑 구조를 소개한다. 작은 공간에서도 고가의 GPU를 안정적으로 돌리기 위해 발열과 냉각 효율이 설계의 핵심이라는 점이 드러난다.
2. 3:00
   모델 출시 속도와 오픈웨이트 성능이 빠르게 올라가면서, 데이터를 회사 안에 가두는 온프레미스 인퍼런스 수요가 커지고 있다. 인퍼런스는 단순 채팅이 아니라 문서 생성, 사내 자동화, 업무 처리의 원동력으로 재해석된다.
3. 4:02
   TPS는 초당 생성 토큰 수이며, 현재 LLM은 결국 모든 weight를 읽어야 하므로 HBM 대역폭이 생성 속도를 제한한다. 이를 우회하는 핵심 기술이 speculative decoding과 MTP이며, 빠른 보조 모델이 미리 토큰을 제안하고 메인 모델이 수락 여부를 검사하는 구조다.
4. 11:02
   현대 에이전트 AI의 병목은 decode보다 prefill에 더 가깝고, 읽기와 쓰기를 분리해야 같은 GPU로 더 많은 사용자를 처리할 수 있다. NVIDIA의 Vera Rubin과 Groq 사례처럼 prefill과 decode를 서로 다른 하드웨어에 맡기는 구성이 가장 빠른 방향으로 제시된다.
5. 14:00
   1,000 TPS 수준이 되면 회사를 실시간으로 시뮬레이션하는 Second Brain 같은 사용 방식이 가능해진다. 이메일, Slack, 코드, 마케팅 초안까지 병렬로 돌리면서 업무의 trajectory 자체를 생성·검증하는 방식으로 사람이 일하는 리듬이 바뀐다.
6. 25:02
   prefill은 큰 컨텍스트를 한 번에 읽어 hidden state와 KV 캐시를 만드는 과정이고, decode는 그 이후 토큰을 한 개씩 내보내는 과정이다. 이 둘은 자원 사용 패턴이 완전히 달라서, 물리적으로 분리한 팜과 캐시 전달 구조를 갖추지 않으면 대규모 서빙이 쉽게 멈춘다.
7. 41:03
   B300 100장 규모와 1MW급 자체 데이터센터는 운영률 5~10%만 돼도 감가상각을 회수할 수 있는 구조로 설명된다. 자체 인프라는 비용 절감뿐 아니라 네트워크, 라우팅, 유휴 자원 활용, 에이전트 기반 자동 최적화까지 제어할 수 있다는 장점이 있다.
8. 1:03:01
   AI 가치의 중심은 모델 자체보다 고객과 가까운 조직화, control plane, contract 설계로 이동한다. 동시에 보안과 운영 영역에서는 에이전트가 취약점을 찾거나 소셜 엔지니어링을 시도하는 사례가 나타나며, 강한 권한과 통제가 필요한 시대가 열리고 있다.

실무 인사이트

• 인퍼런스 최적화는 이제 모델 성능의 부가 기능이 아니라 매출과 직결되는 핵심 엔지니어링 과제이므로, TPS보다 task 완료 시간과 원가율을 함께 봐야 한다.
• prefill·decode 분리, KV 캐시 이동, speculative decoding 수락률은 실서비스 품질을 좌우하므로, 서빙 아키텍처 설계 시 모델 성능만 보지 말고 하드웨어·네트워크 토폴로지까지 같이 설계해야 한다.
• 에이전트 도입의 다음 단계는 단순 자동화가 아니라 조직의 계약·재량·검증 구조를 다시 짜는 것이며, 보안·권한·감사 가능성을 포함한 하네스 설계가 필수다.