Your Company Should Train Its Own AI Models - Will Brown, Prime Intellect

한 줄 핵심

기업이 에이전트와 워크플로에서 나온 흔적을 평가·라우팅·훈련 데이터로 바꿔 자체 모델을 계속 학습시키면, 조직의 암묵지까지 축적하는 자가 개선형 AI 조직으로 진화할 수 있다는 주장이다.

시간별 요약

1. 0:00
   소개 이번 발표의 초점은 지금의 에이전트와 인터페이스 발전이 조직 단위에서 어떤 다음 단계로 이어질지이며, 앞으로의 AI가 기업 운영 방식 자체를 어떻게 바꿀지를 탐색한다.
2. 1:21
   챗봇에서 AI 네이티브 조직으로 AI 발전은 챗봇을 지나 추론과 에이전트 단계까지 빠르게 왔고, 다음 질문은 대기업 수준에서 AI가 조직 전반에 깊게 통합된 AI 네이티브 조직이 무엇인지다.
3. 2:33
   Prime Intellect가 만드는 것 Prime Intellect는 모델의 훈련·배포·지속적 개선을 위한 AI 인프라와 오픈소스 도구를 만들며, 조직이 자체 데이터와 워크플로를 바탕으로 모델을 직접 학습·운영하는 미래를 전제로 한다.
4. 3:45
   문서화되지 않는 지식 조직에는 코드나 문서에 남지 않는 암묵지가 많고, 실제 의사결정 구조와 병목은 사람들 머릿속과 대화의 맥락에 숨어 있는 경우가 많다. 에이전트는 이런 비정형 텍스트를 훑어 패턴을 찾아 문제를 드러내는 데 강점이 있다.
5. 5:43
   에이전트가 모든 것을 다시 배우는 이유 인간 동료는 업무를 하며 배우지만 에이전트는 주로 in-context learning에 의존해 같은 것을 반복해서 다시 배운다. 그래서 조직의 규칙보다 선호, 마찰, 휴리스틱, 경향 같은 패턴을 모델 가중치에 더 많이 담아야 진짜 협업자가 될 수 있다.
6. 7:25
   컨텍스트와 가중치에 무엇을 넣을지 모델 개선은 결국 훈련을 통해 이뤄지며, 조직 지식을 매번 프롬프트로 재주입하는 방식은 비효율적이다. 어떤 지식은 컨텍스트에 두고, 반복적이고 가치가 높은 패턴은 가중치에 새겨 넣는 구분이 중요하다.
7. 8:06
   프론티어 훈련 뒤의 전화 게임 프론티어 모델 훈련은 전문가의 지식이 여러 중간 단계를 거쳐 RL 환경과 학습 파이프라인으로 전달되는 복잡한 전화 게임처럼 진행된다. 이 간극을 줄여 조직의 담당자가 모델 학습에 더 직접적으로 신호를 줄 수 있게 만드는 것이 핵심 기회다.
8. 11:15
   모델을 위한 테스트 케이스로서의 평가 가장 실용적인 지속 학습 방식은 모델을 코드베이스처럼 다루며 테스트 케이스를 쌓는 것이다. 사용 과정에서 쌓이는 traces와 피드백은 eval의 재료가 되고, 에이전트가 그 정리까지 도와주면 평가 체계가 훨씬 빨리 구축된다.
9. 12:43
   라우팅과 의사결정 모델 비용 절감용 모델 선택과 인간 승인 같은 문제는 명확한 정답이 있는 라벨링 문제로 바꿀 수 있으며, 이는 라우팅 모델과 의사결정 모델 학습에 바로 연결된다. 조직마다 다른 승인 규칙과 선호를 이런 데이터로 축적하면 즉시 쓸 수 있는 지속 학습 경로가 된다.
10. 15:11
    결정을 학습 데이터로 바꾸는 인터페이스 에이전트가 필요한 순간에만 인간에게 결정을 요청하고, 그 결정을 직접 라벨로 바꿔주는 동적 UI는 매우 좋은 학습 데이터 생성 장치다. 긴 대화 스레드를 읽는 대신 맥락이 드러난 카드형 인터페이스로 신호를 받으면 인간에게도 편하고 학습 신호도 더 명확해진다.
11. 17:27
    $300K의 지식 작업용 모델 실제로 spreadsheet와 slides 같은 지식 작업에 최적화된 모델을 $300K 수준으로 훈련한 사례가 나오면서, 조직이 자체 모델을 갖는 것이 점점 현실적인 선택지가 되고 있다. 오픈 모델과 조직 고유의 지식, 환경, 하네스를 결합하면 더 개인화되고 강한 모델을 만들 수 있다.
12. 18:35
    야간 훈련 실행 낮에는 추론에 쓰는 용량을 밤에는 훈련에 돌려 매일 밤 자동으로 새 실험과 학습을 돌리는 방식이 현실적인 지속 학습 루프가 된다. 이렇게 하면 조직의 traces와 문제점을 가중치에 계속 반영해 역량을 누적할 수 있다.
13. 19:19
    자가 개선하는 조직 조직은 워크플로 발견, 스킬 생성, eval 구축, 라우팅, 지속 훈련을 거치며 점점 더 스스로를 개선하는 시스템이 될 수 있다. 핵심은 회사 내부의 데이터와 지식을 모델에 누적시켜 시간이 지날수록 더 잘 일하는 조직을 만드는 것이다.

실무 인사이트

• 조직이 가진 암묵지를 문서화만으로 해결하려 하지 말고, traces와 피드백을 바로 eval·훈련 데이터로 전환하는 파이프라인을 먼저 설계하는 것이 효과적이다.
• 지속 학습의 출발점은 거대한 모델 훈련이 아니라, 라우팅·승인·선호 같은 명확한 의사결정부터 모델화해 작은 성공을 빠르게 쌓는 것이다.
• 낮의 추론 자원과 밤의 훈련 자원을 분리해 운영하면, 기존 인프라를 크게 바꾸지 않고도 조직 고유 지식을 가중치에 누적시키는 루프를 만들 수 있다.