Why AI Startups Will Disappear Without Compute Markets — Evan Conrad, San Francisco Compute

한 줄 핵심

AI 스타트업이 살아남으려면 GPU 클러스터를 단순히 빌리는 수준을 넘어, 물리적으로 정산되는 컴퓨트 시장과 운영 능력까지 함께 갖춘 구조가 필요하다는 주장이다.

시간별 요약

0:00
도입 이 영상은 컴퓨트 시장이 왜 필요한지, 그리고 왜 단순한 GPU 임대가 아니라 시장과 운영이 결합된 구조가 필요한지를 설명한다. 핵심은 compute markets 자체보다 그 시장이 해결해야 하는 현실의 문제다.
0:42
물리적으로 정산되는 컴퓨트 컴퓨트 시장은 하드웨어 운영과 시장 기능을 동시에 맡아야 하며, 슈퍼컴퓨터의 설계부터 백플레인, bare metal orchestration, VM까지 전체 스택을 제대로 다뤄야 한다. 그렇지 않으면 데이터센터를 가진 주체가 GPU cloud가 되려다 고객에게 실패하게 된다.
1:35
서비스로서의 슈퍼컴퓨팅 이 모델은 클라우드가 되고 싶은 데이터센터 운영자, 포트폴리오용 클러스터를 재배치하려는 VC, 잔여 컴퓨트 가치를 확보하려는 AI 회사 모두를 대상으로 한다. 또한 즉시 또는 미래 시점에 예약 가능한 라이브 order book을 제공한다.
2:08
어려운 AI 랩이 GPU 중개업자가 되기까지 처음에는 Sunno나 UDIO 같은 AI 랩을 만들려 했지만, 당시에는 $10 million deposit이 필요해 직접 운영이 불가능했다. 결국 500k를 조달해 클러스터를 샀고, 매달 적자를 막기 위해 서브리스해야 했기 때문에 사실상 최초의 GPU broker가 되었다.
3:32
두 가지 기적 같은 문제 AI 랩이 제대로 돌아가려면 시장을 만드는 일과 클라우드가 되지 않으면서도 클라우드처럼 운영하는 일을 동시에 풀어야 한다. 현재 스타트업들은 이미 compute sold out 상태이며, 이 문제는 더 많은 팀이 겪게 될 구조다.
4:26
매진, 예치금, 지연 새 클러스터는 지금 당장 쓸 수 없고 미래 시점에만 열리기 때문에, 고객은 자신의 현금 대부분을 deposit으로 묶어야 한다. 대출 기관은 AGI의 가치를 평가할 수 없고, 수요 예측 실패와 클러스터 장애까지 겹쳐 지연과 손실이 매우 쉽게 발생한다.
6:20
모든 것은 하나의 리스크 문제 기술 리스크, 재무 리스크, credit risk는 서로 다른 문제가 아니라 하나의 묶인 리스크다. AI는 SaaS처럼 마진이 두껍지 않아 가격 민감도가 높고, 그래서 장기 계약과 선금이 필요하지만 그 자체가 다시 유동성 부족과 리드타임 문제를 만든다.
8:13
병목은 전력이 아니라 신용 현재 AI의 1순위 병목은 power가 아니라 credit이며, 대부분의 회사는 은행 잔고 기준으로 확장 한계가 정해진다. 그래서 VC 자금이 결국 클러스터 deposit으로 흘러 들어가지만, 고객이 있어야 배포할 수 있는 구조 때문에 지연과 장애가 반복된다.
10:13
컴퓨트 시장이 해결해야 할 것 컴퓨트 시장은 고객의 credit risk가 아니라 GPU 클러스터 자체의 가치를 underwriting해야 한다. 그렇지 않으면 시장은 몇 개의 신용도 높은 대형 구매자만 남는 방향으로 수렴하고, 결국 TSMC처럼 소수의 클라우드와 AI 랩만 남게 된다.
11:37
왜 클러스터를 직접 운영해야 하는가 GPU 컴퓨팅은 표준화와 신뢰성이 부족해서 시장 운영자가 물리 인프라와 분리될 수 없다. 호텔 객실을 중개만 하고 운영하지 않으면 서비스 문제를 해결할 수 없듯, 클러스터도 직접 운영하지 않으면 실제 시장이 성립하지 않는다.
13:05
왜 물리적 정산을 하지 않는가 물리적 정산을 구현하는 순간 사실상 GPU cloud 전체를 운영하게 되므로, 많은 주체가 차라리 아예 cloud가 되는 길을 택한다. 그러나 이 팀은 원래 AI 랩을 만들고 싶었기 때문에, 그 목표를 위해서라도 물리적 정산 구조가 필요했다.
13:59
$10M에서 $1B 예치금으로 AI 랩을 시작하는 데 필요한 최소 자본은 $10M에서 $100M, 그리고 지금은 $1B 수준으로 커졌다. 이 추세가 계속되면 충분한 자본과 신용이 없는 신규 스타트업은 아예 시작 자체가 어려워지고, 고객 리스크를 응용층으로 떠넘기는 방식은 시장 전체를 더 폐쇄적으로 만든다.
15:26
스타트업에 이것이 필요한 이유 신용이 AI 접근의 전제 조건이 되면 기존 대기업만 제품과 수익을 가져가며 경제 전반의 consolidation이 심해진다. compute markets는 새로운 스타트업이 거대한 token 비용과 예치금 장벽을 넘어설 수 있게 만들어, 다음 세대의 AI 회사를 가능하게 하는 장치다.

실무 인사이트

AI 인프라 논의는 GPU 확보 경쟁이 아니라, 누가 리스크를 부담하고 언제 현금이 묶이는지 설계하는 문제로 봐야 한다.
스타트업이 AI를 도입할수록 credit과 deposit 장벽이 제품 경쟁력보다 더 큰 진입장벽이 될 수 있으므로, 조달 구조와 계약 구조를 먼저 설계해야 한다.
컴퓨트 시장을 만들려면 중개만으로는 부족하고, 운영·장애 대응·재배치까지 포함한 end-to-end 통제권이 필요하다.