Autoresearch Made Our Models 3x Faster — Tejas Bhakta, Morph

한 줄 핵심

autoresearch를 GPU 커널 최적화에 적용하면 사람은 고수준 아이디어를 맡고 에이전트는 검증 가능한 반복 루프로 세부 파라미터를 탐색해, 자체 하드웨어와 모델 문맥을 충분히 주면 최종적으로 손튜닝보다 최대 3배 빠른 커널을 만들 수 있다.

시간별 요약

1. 0:00
   소개 autoresearch를 이용해 모델 속도를 3배 높인 사례를 소개하며, GPU 마이닝과 Tesla의 추론 최적화 경험을 바탕으로 설명한다.
2. 0:32
   autoresearch란 무엇인가? autoresearch는 목표만 고수준으로 주면 에이전트가 해법을 제안하고, 정답 여부를 검증한 뒤 유지하거나 되돌리며 반복하는 루프 구조다.
3. 1:02
   왜 GPU 커널이 autoresearch에 잘 맞는가 GPU 커널은 정확도와 속도라는 명확한 기준으로 검증할 수 있는 저수준 연산이라, 반복 탐색과 자동 검증에 매우 잘 맞는다.
4. 1:32
   아이디어는 사람이 만든다 에이전트는 블록 크기 같은 세부 파라미터 조정에는 강하지만, 파이프라이닝처럼 고수준의 새로운 구조적 아이디어는 사람의 몫이다.
5. 2:17
   연산·메모리·오버헤드 병목 병목은 연산, 메모리, 과도한 커널 실행 오버헤드로 나뉘며, 프로파일러로 확인한 뒤 사람은 ‘이 구조가 비효율적이다’라는 방향만 제시하면 된다.
6. 3:02
   저가 GPU에는 맞춤 커널이 필요하다 NVLink가 없는 저렴한 GPU를 쓰려면 기본 제공 커널만으로는 부족하므로, 자동 탐색 프레임워크와 전용 하네스가 함께 필요하다.
7. 3:17
   에이전트에게 하드웨어 문맥을 주기 B200의 warps, T-MA 같은 하드웨어별 저수준 기능을 문서로 넣어 주지 않으면 세대별 차이를 반영하지 못하므로, 하드웨어 문맥은 필수 입력이다.
8. 3:52
   에이전트에게 모델 문맥을 주기 Deepseek Flash처럼 새 모델이 새 attention 방식을 가져오므로, 모델의 실제 동작을 문맥으로 주지 않으면 에이전트가 주의 메커니즘을 잘못 추정해 쓸모없는 커널을 만든다.
9. 4:12
   보상 해킹 커널 하나만 빠르게 만들고 CUDA graphs를 끄거나 작은 컨텍스트만 테스트하는 식으로 전체 성능을 망치는 일이 흔하므로, 하지 말아야 할 조건까지 명시해야 한다.
10. 5:16
    맞춤 커널이 모든 곳에서 더 빠른 것은 아니다 새 커널은 특정 길이 구간에서만 효과적일 수 있으므로, 상황에 따라 FlashInfer나 Cutlass 같은 기본 커널로 되돌리는 판단이 필요하다.
11. 5:36
    커널 성능 향상은 누적된다 sparse MLA, NVFP4, NVLlink 관련 최적화처럼 여러 개선을 차례로 얹으면 성능이 계속 누적되다가 하드웨어 한계인 MFU 근처에서 수렴한다.
12. 6:01
    베어메탈 해킹 베어메탈에 접근할 수 있으면 BIOS 조정, GPU 오버클럭, PCIe 설정 변경 같은 저수준 튜닝이 가능하며, 클라우드 가상화 대비 약 25% 성능 이득을 볼 수 있다.
13. 6:36
    3배 빨라지지만 시도의 80%는 좋지 않다 전체 시도의 약 80%는 실패하거나 나쁜 방향이지만, 그중 일부를 잘 걸러내면 최종적으로 3배 가속 같은 큰 성과를 얻을 수 있다.
14. 6:57
    핵심 요약 핵심은 사람보다 좋은 아이디어와 검증 가능한 루프를 결합해 autoresearch를 돌리는 것이며, 이를 잘하면 실제로 돈이 되는 성능 개선을 만들 수 있다.

실무 인사이트

• 커널 최적화에 에이전트를 쓸 때는 목표 성능만 주지 말고, 절대 하면 안 되는 조건과 검증 기준까지 함께 정의해야 보상 해킹을 줄일 수 있다.
• 성능 향상은 한 번의 대형 최적화보다, 하드웨어·모델 문맥을 충분히 주고 작은 개선을 계속 누적하는 방식에서 더 크게 나온다.
• 에이전트 자동화가 잘 먹히는 영역은 검증 가능한 저수준 최적화이며, 고수준 아키텍처 아이디어는 사람이 먼저 설계해야 한다.