EP 105. AI가 연구를 할 수 있을까?

한 줄 핵심

AI는 이미 논문 작성·리뷰·재현 검증의 일부를 수행하고 있지만, 좋은 연구를 진짜로 판별·발견하는 문제는 아직 인간 수준의 평가와 긴 시간축이 필요해 완전한 자율 연구에는 이르지 못했다.

시간별 요약

1. 0:00
   좋은 연구가 무엇인지 판별하는 일은 원래도 어려웠고, PPO 사례처럼 당대에는 가치가 보이지 않던 연구가 나중에 큰 임팩트를 내기도 했다. arXiv, ICML, ICLR에서 AI 생성 논문과 AI 리뷰가 범람하면서 학계의 평가 시스템 자체가 흔들리고 있다.
2. 7:01
   좋은 연구를 인류 지식의 프런티어를 넓히고 세상에 의미 있는 임팩트를 주는 것으로 정의하면, 핵심 문제는 ‘보상’을 어떻게 줄 것인가로 압축된다. 현재의 피어리뷰는 인간 사회에서 가장 나은 시스템에 가깝지만, LLM 시대에는 재현성·품질 검증을 더 강하게 걸러내는 중간 단계가 필요해졌다.
3. 10:00
   Hugging Face의 ICML Reproduce Challenge와 랄프톤은 AI가 논문을 쓰고 리뷰하고 다시 검증하는 흐름을 실험하는 사례다. 특히 인간 심사위원과의 상관관계를 맞추는 리뷰 에이전트가 강하게 평가되면서, 좋은 리뷰조차도 결국 인간의 판단과 얼마나 일치하는지가 중요한 보상 신호임이 드러났다.
4. 19:02
   수학과 과학에서 AI의 돌파 가능성을 보면, IMO 금메달처럼 맞히기 쉬운 벤치마크는 이미 뚫었지만 그것이 곧 AGI는 아니다. 수학 내부에서도 조합처럼 더 뾰족한 능력이 필요하고, Galois의 군론처럼 진짜 좋은 연구는 100년 뒤에야 가치가 증명되기도 해서 즉시 보상하는 RLVR과는 시간축이 맞지 않는다.
5. 31:04
   상대성 이론과 같은 이론 물리는 ‘압축이 곧 지능’이라는 관점으로 재해석되며, 복잡한 탐색과 사고 실험을 압축해 설명하는 능력이 핵심으로 제시된다. AI는 수많은 가설을 머릿속에서 병렬 탐색하고, 인간이 믿고 있던 명제를 낭비를 두려워하지 않고 재검증하면서 놓친 모순을 찾는 데 강점을 보일 수 있다.
6. 39:01
   RLVR은 코드나 수학처럼 정답 검증이 가능한 문제에는 강하지만, 글쓰기·디자인·새 개념 발명처럼 정답이 여러 개인 영역에는 근본적으로 약하다. 그래서 앞으로도 사람은 무엇을 물을 가치가 있는지 고르고, 서로 먼 생각을 연결하고, 결과를 해석·선택하는 역할을 당분간 계속 맡게 될 가능성이 크다.

실무 인사이트

• 연구 자동화를 설계할 때는 최종 결과만 보상하지 말고 재현성, 간결성, 인간 심사위원과의 상관관계 같은 중간 보상을 함께 둬야 한다.
• 정답 검증이 가능한 수학·코딩부터 AI 연구 보조가 빠르게 확산되고, 실험 루프가 긴 바이오·화학은 그보다 훨씬 늦게 따라올 가능성이 높다.
• AI가 연구를 잘하려면 모델 성능만이 아니라 무엇을 탐색할지 정하는 컨텍스트 설계와 인간의 taste를 루프에 넣는 하네스가 핵심이다.