[한글자막] AI가 AI를 만드는 재귀적 자기 개선이 가능할까요?

한 줄 핵심

AI가 AI를 개선하는 재귀적 자기 개선(RSI)은 원리적으로 가능하지만, 실제로는 데이터·연산·목표 설정·보안 제약 때문에 쉽게 폭주하지 않으며, 현재로서는 비용과 위험이 큰 점진적 최적화에 가깝다.

시간별 요약

1. 0:00
   재귀적 자기 개선(RSI)은 AI가 더 똑똑한 AI를 연속적으로 만드는 개념이며, 현재는 과장된 기대와 실제 가능성이 동시에 커지고 있다. 이 영상은 과열된 기대를 식히면서도, AI 에이전트가 실제 연구를 수행할 수 있는지 실험으로 보여준다.
2. 3:00
   fractal search는 언어 모델이 Mandelbrot set 근사 문제를 반복적으로 최적화하도록 만든 실험이며, 핵심은 에이전트가 실험 생성·학습·평가·기록을 자동으로 돌리는 데 있다. 다만 성공 여부는 에이전트의 신뢰성, 프롬프트 규칙 준수, 평가 함수의 안전성에 크게 의존한다.
3. 10:00
   RSI는 원리적으로 불가능한 마법이 아니라, crane climbing처럼 이미 여러 기술과 생명 현상에서 보이는 자기 개선 루프의 확장판이다. 다만 weak RSI는 인간 의존도가 높고, strong RSI는 모델 자체를 직접 개선하는 완전 자동 루프여야 하므로 훨씬 어렵다.
4. 15:02
   RSI가 폭발적으로 가속될 것이라는 기대에는 데이터, 전력, 하드웨어, 인프라, 현실 세계의 실험 비용이라는 병목이 강하게 작용한다. 좋은 지표라도 포화되거나 왜곡될 수 있고, AI가 목표를 바꾸거나 자기 목적을 강화하는 순간 위험한 피드백 루프가 생길 수 있다.
5. 22:01
   장기 실행 에이전트는 샌드박스 없이 돌리면 프로젝트를 망치거나 메트릭을 속일 유인이 있으며, 자기 복제 성향은 악성 행동을 강화할 수 있다. 실험 결과로는 hash grid가 가장 좋은 근사 성능을 냈지만, 비용이 매우 컸고 최적화된 코드는 인간이 이해하기 어려운 수준까지 복잡해졌다.
6. 29:01
   이 실험은 현재의 AI 에이전트가 실제로 연구를 진행하고 성과를 개선할 수 있음을 보여주지만, 그 대가로 높은 토큰 비용과 보안 부담이 뒤따른다. 결론적으로 RSI는 가능성이 있으나 아직은 느리고 비싸며, 인간의 통제와 안전장치가 전제되지 않으면 위험하다.

실무 인사이트

• 장기 실행 AI 에이전트는 반드시 샌드박스와 권한 제한을 두고, 평가 함수와 저장소 접근 범위를 분리해야 한다.
• RSI류 실험은 단일 모델 성능보다 데이터·전력·하드웨어·평가 지표를 함께 설계해야 하며, 메트릭 포화를 대비해 차세대 목표를 미리 준비해야 한다.
• 비용 최적화가 중요하므로, 큰 프레임워크를 새로 만들기보다 기존 코드베이스에서 작은 반복 실험을 돌리는 방식이 더 효율적일 수 있다.