Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI

한 줄 핵심

OpenAI의 추론 트래픽 라우팅은 엔진 신호를 그대로 따라가는 피드백 루프에서 벗어나, 전역 최적화된 정책을 컨트롤 플레인과 데이터 플레인으로 분리해 더 예측 가능하고 안정적으로 운영하는 방향으로 진화했다.

시간별 요약

1. 0:00
   엔진 신호 피드백 루프에서 명시적 정책으로 추론 로드 밸런서는 프런트엔드 CPU 클러스터와 GPU 엔진 클러스터 사이에서 요청을 중계하며, 핵심 역할은 엔진 선택과 프록시다. 초점은 엔진 신호에 반응하되 더 예측 가능한 라우팅 정책으로 바뀌는 과정에 있다.
2. 2:44
   추론 라우팅이 특별한 이유 추론 라우팅은 TTF(TTFT), token throughput(TBOT), 건강 상태, 활용도 같은 실시간 신호와 KV cache 재사용 가능성을 함께 고려해야 한다. 같은 대화의 후속 요청을 같은 엔진에 보내면 재계산을 줄여 지연과 비용을 낮출 수 있어, 단순한 부하 분산보다 훨씬 복합적인 문제다.
3. 3:41
   초기 방식: 가중 일관 해싱 초기에는 모든 엔진이 항상 후보가 될 수 없다는 전제 아래, 가능한 엔진 집합에서 weighted consistent hashing으로 목적지를 골랐다. 모델별 제약, 컴퓨트 제약, 데이터 레지던시 제약을 반영하는 현실적인 출발점이었지만, 여전히 가중치가 무엇에 의해 정해지는지가 핵심이었다.
4. 4:23
   비례 제어기로 만든 가중치 엔진이 보고하는 신호를 주기적으로 평활화해 성능 점수를 만들고, 이를 전체 평균과 비교해 엔진별 weight를 올리거나 내리는 피드백 루프를 사용했다. 여러 신호를 하나의 라우팅 결정에 녹여 자동 균형을 만들 수 있었지만, 특정 결정의 이유를 설명하기 어렵고 한 요소를 조정하면 다른 요소가 흔들리는 trade-off가 컸다.
5. 6:57
   캐시를 깨뜨리는 진동 피드백 루프는 트래픽을 옮기면 엔진이 한동안 한산해지고, 그 신호가 다시 컨트롤러에 반영되면서 트래픽이 되돌아오는 진동을 만들 수 있다. 이런 왕복은 KV cache 활용을 깨뜨려 효율과 지연을 악화시키므로, 기존 구조를 다시 설계할 필요가 생겼다.
6. 7:38
   컨트롤 플레인, 데이터 플레인, 그리고 전역 관점 단일 CPU 클러스터의 로컬 시야로는 엔진들이 서로 다른 하드웨어, 건강 상태, 거리, 캐시 상황을 가진다는 점을 충분히 반영할 수 없다. 여러 클러스터가 독립적으로 같은 엔진만 선택하면 과부하가 생기므로, 전역 관점을 가진 control plane이 최적의 라우팅을 계산하고 data plane이 빠르게 실행하는 구조가 필요하다.
7. 9:18
   세 가지 경로: 요청, 신호, 라우팅 가중치 요청 경로는 CPU 클러스터의 data plane이 로컬 routing state를 보고 즉시 엔진을 선택하는 동기식 경로다. 신호 경로는 TTFT, TBOT, ready replica 수, engine health 등을 지속 수집해 control plane과 data plane 모두에 빠른 피드백을 제공하고, 라우팅 가중치 경로는 control plane이 최적화 결과를 발행하고 data plane이 이를 비동기적으로 pull해 반영한다.
8. 12:03
   왜 가장 가까운 엔진이 아닌가 가장 가까운 엔진만 고집하면 지역별 수요와 GPU 용량의 불균형을 해결하지 못한다. 가까운 엔진이 이미 포화된 경우에는 조금 더 먼 엔진이 네트워크 지연을 추가하더라도 전체 대기시간을 줄여 더 빠른 end-to-end 성능을 낼 수 있다.
9. 13:28
   최적화기 내부 최적화기는 각 CPU 클러스터의 요청량, 엔진별 네트워크 지연, 가용 용량과 건강 상태, 그리고 부하에 따른 TTFT·TBOT 지연 프로파일을 입력으로 받아 routing weights를 계산한다. 목표는 전체 트래픽의 기대 end-to-end latency를 최소화하는 것이며, 모든 수요를 처리하고 용량을 넘지 않으며 가중치가 음수가 되지 않는 제약도 함께 만족해야 한다.
10. 15:38
    패널티, 재시도 예산, 그리고 부하 차단 운영 환경에서는 노드 장애, GPU 열화, 네트워크 이상이 생기므로, 이상 징후가 있는 엔진의 weight를 낮춰 우회하고 회복이나 교체의 시간을 벌어준다. 재시는 유용하지만 과부하 상황에서는 retry storm을 만들 수 있어 동적인 예산으로 제한해야 하며, 최종적으로 수요를 감당할 수 없을 때는 일부 트래픽을 의도적으로 shed해서 전체 시스템이 우아하게 degraded 상태로 버티게 만든다.

실무 인사이트

• 실시간 지표를 그대로 라우팅에 반영하기보다, 전역 최적화가 가능한 별도 제어면에서 가중치로 바꾸면 설명 가능성과 안정성을 함께 높일 수 있다.
• 캐시가 중요한 추론 시스템에서는 단순한 근접성보다 cache locality와 부하 분산의 균형이 중요하며, 라우팅 진동을 줄이는 장치가 성능에 직접적이다.
• 재시도와 부하 차단은 실패 대응 수단이지만, 과부하 구간에서는 오히려 장애를 증폭시키므로 동적 budget과 graceful degradation 전략이 필수다.