We Gave an Agent Production Code Access and Then Tried to Sleep at Night โ Moritz Johner, Form3
ํ ์ค ํต์ฌ
๋๊ท๋ชจ ์ ์ฅ์์ CVE ํจ์น๋ฅผ ์์ด์ ํธ๋ก ์๋ํํ ์ ์์ง๋ง, ์์ฐ ํ๊ฒฝ์์๋ ์์ด์ ํธ์ ๊ถํ๊ณผ ์๋๋ฐ์ค๋ฅผ ์ค๊ณํ์ง ์์ผ๋ฉด ๊ณง๋ฐ๋ก ๊ณต๊ธ๋ง ๋ฆฌ์คํฌ๊ฐ ๋๋ฏ๋ก, ๊ฒฐ์ ์ ์ค์ผ์คํธ๋ ์ด์ ๊ณผ ์์ด์ ํฑ ์ถ๋ก ์ ๋ถ๋ฆฌํ๋ ๊ตฌ์กฐ๊ฐ ํต์ฌ์ด๋ค.
์๊ฐ๋ณ ์์ฝ
-
0:01
์์กด์ฑ ํจ์น๋ ๊ท๋ชจ๊ฐ ์ปค์ง์๋ก ๋๋์ง ์๋ ๋ฐฑ๋ก๊ทธ๊ฐ ๋๋ฉฐ, DependabotยทRenovate ๊ฐ์ ๊ธฐ์กด ๋๊ตฌ๋ง์ผ๋ก๋ ์ปจํ ์ด๋์ ๋ณต์กํ ๋น๋ ์ฒด์ธ์ ๋ฐ๋ผ๊ฐ์ง ๋ชปํ๋ค. ๋จ์ํ ๋ฒ์ ์ํฅ์ด ์๋๋ผ CVE์ ์ค์ ์์น์ ์ฐ๊ด๋ ์ฃผ๋ณ ๋ณ๊ฒฝ๊น์ง ์ดํดํ๋ ์ถ๋ก ์ด ํ์ํ๋ค.
-
3:01
์์ฐ ํ๊ฒฝ์์ ์์ฐ ์ฝ๋ ์ ๊ทผ์ ๊ฐ์ง ์ ์ฉํ ์์ด์ ํธ๋ ์ฌ์ค์ ๊ณต๊ธ๋ง ํ์์๊ฐ ๋๋ฏ๋ก, ์์ง๋์ด์ ๋น์ทํ ์์ค์ ๊ฐ๋๋ ์ผ์ ์ ์ฉํด์ผ ํ๋ค. ์ด ์ฌ๋ก์์๋ Patch Pilot๋ฅผ ์ด์ํ๋ฉฐ ๋ณด์ํ์ ์ฐ๋ ค๋ฅผ ์ค์ ์ค๊ณ๋ก ๋ฐ์๋ค์ด๋ ๋ฐฉํฅ์ผ๋ก ์ ๋ฆฌํ๋ค.
-
4:01
๊ตฌ์กฐ๋ ๊ฒฐ์ ์ Go ์ ํ๋ฆฌ์ผ์ด์ ์ด ์ํฐํฉํธ ๋ฐ๊ฒฌยท์ค์บยท์ค์ผ์คํธ๋ ์ด์ ์ ๋ด๋นํ๊ณ , ์์ด์ ํธ๋ ์ต์ ๋ณ๊ฒฝ๊ณผ CI ์คํจ ์์ธ ์ถ๋ก ๋ง ๋งก๋ 2๊ณ์ธต ๋ฐฉ์์ด๋ค. ์์ด์ ํธ๋ ํ์ผ๋ง ์์ ํ๊ณ , ์ปค๋ฐยทํธ์ยทPR ์์ฑยทCI ์ ์ด๋ ๊ฒฐ์ ์ ๊ณ์ธต์ด ์ฒ๋ฆฌํด ์ฑ ์ ๊ฒฝ๊ณ๋ฅผ ๋ถ๋ฆฌํ๋ค.
-
11:00
GitHub ์ ๊ทผ, OCR registry ์๊ฒฉ ์ฆ๋ช , ๊ฐ์ข ๋ฐํ์๊ณผ ์ ธ, ๋คํธ์ํฌ ์ ๊ทผ์ ์ ๊ณตํ๋, ์ํํ ๊ถํ์ ์์ด์ ํธ๊ฐ ์๋ ๊ฒฐ์ ์ ๊ณ์ธต์ ๋จ๊ฒจ ๋์ด์ผ ํ๋ค. ํ๋กฌํํธ ์ธ์ ์ ์ ์์ ํ ํด๊ฒฐํ ์ ์์ผ๋ฏ๋ก ์ ๋ขฐํ ์ ์๋ ๋๋ ํฐ๋ฆฌ์ ๋ก๊ทธ๋ฅผ ๊ฒฝ๊ณํ๊ณ , ํฉ์ฑ ์ ์ฅ์ ๊ธฐ๋ฐ eval๋ก ๊ณต๊ฒฉ ๋ฒกํฐ๋ฅผ ๊ณ์ ์ ๊ฒํด์ผ ํ๋ค.
-
14:01
์ผ๋ฐ์ ์ธ ์๋๋ฐ์ค๋ Docker socket์ ๋ค๋ฃจ๋ ์๊ฐ ํ๊ณ๊ฐ ๋๋ฌ๋๋ฏ๋ก, micro VM๊ณผ ๋ณ๋ ์ปค๋, Vsock ๊ธฐ๋ฐ ๋คํธ์ํฌ ์ ์ด์ฒ๋ผ ๋ ๊ฐํ ๊ฒฉ๋ฆฌ๊ฐ ํ์ํ๋ค. ํต์ฌ ๊ฒฐ๋ก ์ ์์ด์ ํธ์ blast radius๊ฐ ๊ถํ ๋ถ๋ฆฌ์ ์คํ ํ๊ฒฝ ์ค๊ณ์ ์ํด ๊ฒฐ์ ๋๋ค๋ ์ ์ด๋ฉฐ, ์ด๋ ๋ณด์ ๋ชจ๋ธ ์์ฒด๋ฅผ ์ํคํ ์ฒ๋ก ํ์ด์ผ ํ๋ค.
์ค๋ฌด ์ธ์ฌ์ดํธ
- ์์ด์ ํธ์๊ฒ ํ์ํ ๊ถํ๋ง ์ฃผ๊ณ , PR ์์ฑยทCI ํธ๋ฆฌ๊ฑฐยทํธ์ ๊ฐ์ ๊ณ ์ํ ๋์์ ๊ฒฐ์ ์ ๋ ์ด์ด๋ก ๋นผ๋ฉด ์ฌ๊ณ ๋ฒ์๋ฅผ ํฌ๊ฒ ์ค์ผ ์ ์๋ค.
- ์ด์ ์ ์๋ ์ค์ ์ ์ฑ ์ ๋ ฅ์ ํฌํจํ ํฉ์ฑ ์ ์ฅ์๋ก ๋ฐ๋ณต ํ๊ฐ๋ฅผ ๋๋ ค ํ๋กฌํํธ ์ธ์ ์ ๊ณผ CI ๋ณต์ก์ฑ ์คํจ๋ฅผ ๋ฏธ๋ฆฌ ์ก์์ผ ํ๋ค.
- Docker socket์ด ํ์ํ ์์ ์ ์ผ๋ฐ ์๋๋ฐ์ค๋ณด๋ค micro VM ์์ค์ ๊ฒฉ๋ฆฌ์ ๋คํธ์ํฌ ์ ์ฑ ๋ถ๋ฆฌ๊ฐ ์ฌ์ค์ ์ ์ ์กฐ๊ฑด์ด๋ค.