First Steps Toward Automated AI Research โ Richard Socher, CEO Recursive AI
ํ ์ค ํต์ฌ
์ด ์์์ AI๊ฐ ์ค์ค๋ก ์ฐ๊ตฌ๋ฅผ ์ํยท๊ฐ์ ํ๋ Eureka machine๊ณผ RSI(์ฌ๊ท์ ์๊ธฐ๊ฐ์ )๋ฅผ ํตํด ๊ณผํ ์ฐ๊ตฌ๋ฅผ ์๋ํํ๊ณ , ๊ฒฐ๊ตญ ์๋ก์ด ๋ฐ๋ช ๊ณผ ๊ธฐ์ ์ฑ์ฅ์ ๊ฐ์ํ ์ ์๋ค๊ณ ์ฃผ์ฅํ๋ค.
์๊ฐ๋ณ ์์ฝ
-
0:01
ํต์ฌ ๋น์ ์ ๋ฏธ๋์ ๋ฐ๋ช ์ ๊ณ์ ๋ง๋ค์ด๋ด๋ Eureka machine์ ๊ตฌ์ถํ๋ ๊ฒ์ด๋ฉฐ, ๊ทธ ์ถ๋ฐ์ ์ ์งํ๊ฐ ๋ณด์ฌ์ค ์ด๋ฆฐ ๋์ ๋ฐ์ ๋ฐฉ์์ด๋ค. ์๋ฌผํ์์ ์์๋ ์งํ์ ๊ณผ์ ์ด ๊ณผํ๊ณผ ๊ธฐ์ , AI๋ก ์ด์ด์ก๋ค๋ ๊ด์ ์์ ์ฐ๊ตฌ ์๋ํ๋ฅผ ๋ค์ ๋จ๊ณ๋ก ๋ณธ๋ค.
-
3:00
๊ธฐ์ ๋ฐ์ ์ ์ธ๋ฅ์ ์์ฐ์ฑ๊ณผ ์์กด ๋ฅ๋ ฅ์ ํฌ๊ฒ ๋์ด์ฌ๋ ธ๊ณ , ํ ์ธ๋ ์์์๋ ๋นํ์์ ๋ฌ ์ฐฉ๋ฅ๊น์ง ๊ฐ ๋งํผ ๊ธ๊ฒฉํ๊ฒ ๊ฐ์๋ ์ ์๋ค. ์ด ๋ ผ๋ฆฌ๋ AI๋ ํน์ ์์ ์์ ์ธ๊ฐ์ ๋์ด์ค ์ ๋๋ก ๋น ๋ฅด๊ฒ ์ฑ์ฅํ ์ ์๋ค๋ ์ ๋ง์ผ๋ก ์ด์ด์ง๋ค.
-
7:02
๊ณผํ์ ๊ฐ์ค์ ์ธ์ฐ๊ณ ์๊ฒฉํ ์ค์ฆ ๊ฒ์ฆ์ ๊ฑฐ์น๋ ์ ํ ๊ณผ์ ์ด๋ฉฐ, ์ด๋ ์งํ์ ์์ฐ์ ํ๊ณผ ๋ฎ์ ์๋ค. ํ์ง๋ง ์ธ๋ถ ๋ถ์ผ๊ฐ ์ง๋์น๊ฒ ๋์ด์ง๋ฉด์ ์ฐ๊ตฌ ์ธ๋ ฅ์ด ๋ถ์ฐ๋๋ฏ๋ก, ๊ณผํ ๋ฐ๊ฒฌ ์์ฒด๋ฅผ ์๋ํํ ํ์๊ฐ ์ปค์ง๋ค.
-
9:00
Eureka machine์ ๊ธฐ์กด ์ง์์ ์ดํดํ๊ณ , ์ธก์ ๋ฐ์ดํฐ๋ฅผ ํก์ํ๊ณ , ์๋ฎฌ๋ ์ด์ ์ผ๋ก ๊ฒ์ฆํ๊ณ , ์ต์ข ์ ์ผ๋ก ์ค์ ์คํ์ค์์ ํ์ธํ๋ 4๋จ๊ณ ๊ตฌ์กฐ๋ก ์ค๋ช ๋๋ค. ์ด ์์ ์ฌ๋ฌ ์์ด์ ํธ๊ฐ ์ง์ยท๋ฐ์ดํฐยท์คํ์ ์ค์ผ์คํธ๋ ์ด์ ํ๋ ํํ๊ฐ ๋ํด์ ธ, AI์ฉ ์ฐ๊ตฌ ์ธํ๋ผ๋ก ํ์ฅ๋๋ค.
-
12:01
์ง์ง ์ฑ๋ฅ ํฅ์์ ์์์ ์ ํ์ต๋ ์์คํ ์ผ๋ก ๋์ฒดํ ๋ ๋ฐ์ํ๋ฉฐ, AI๊ฐ ์ฝ๋๋ฅผ ์ง์ ์์ฑํ ์ ์๊ฒ ๋ ์ง๊ธ์ด ์๊ธฐ๊ฐ์ ํ ์ฐ๊ตฌ ์์คํ ์ ๋ง๋ค ์ ๊ธฐ๋ผ๋ ์ฃผ์ฅ์ด๋ค. NanoChat, nano GPT speed run, CUDA kernels ์ฌ๋ก๋ฅผ ํตํด ์งง์ ์๊ฐ ์์ ๊ธฐ์กด ํ๊ณผ ๋ฒค์น๋งํฌ๋ฅผ ๋์ด์๋ ๊ฒฐ๊ณผ๊ฐ ๊ฐ๋ฅํจ์ ๋ณด์ฌ์ค๋ค.
์ค๋ฌด ์ธ์ฌ์ดํธ
- ์ฐ๊ตฌ ์๋ํ๋ฅผ ์ค๊ณํ ๋๋ ๋จ์ผ ๋ชจ๋ธ ์ฑ๋ฅ๋ณด๋ค ์ง์ ์์ง, ์๋ฎฌ๋ ์ด์ , ์คํ ๊ฒ์ฆ์ ์ฐ๊ฒฐํ๋ ๋ฃจํ ๊ตฌ์กฐ๋ฅผ ๋จผ์ ์ ์ํด์ผ ํ๋ค.
- AI ์ฐ๊ตฌ ๋ณด์กฐ๋ฅผ ๋์ด ์์ฒด ๊ฐ์ ์ ๋ชฉํ๋ก ํ๋ค๋ฉด, ํ๊ฐ ์งํ์ ๊ฒ์ฆ ์ ์ฐจ๋ฅผ ํจ๊ป ์ค๊ณํด ๋ณด์ ํดํน๊ณผ ์๋ชป๋ ์ต์ ํ๋ฅผ ๋ง์์ผ ํ๋ค.
- ์ค๋ฌด์์๋ ํฐ ๋ชฉํ๋ฅผ ๋ฐ๋ก ์๋ํํ๊ธฐ๋ณด๋ค NanoChat ๊ฐ์ ์์ ํ์ํ ๋ฌธ์ ์์ ์๋ ์ฐ๊ตฌ ๋ฃจํ๋ฅผ ๊ฒ์ฆํ ๋ค ๋ฒ์๋ฅผ ๋ํ๋ ์ ๊ทผ์ด ํจ๊ณผ์ ์ด๋ค.