Your Agent Didn't Fail. Your Harness Did. โ Vinoth Govindarajan, OpenAI
ํ ์ค ํต์ฌ
์์ด์ ํธ์ ์์ฐ ์คํจ๋ ๋๋ถ๋ถ ๋ชจ๋ธ ์ฑ๋ฅ๋ณด๋ค ์ํ ์์ ๊ถ, ์ปค๋ฐ ์์, ์คํ ๊ถํ, ์ข ๋ฃ ์ฆ๋ช ๊ฐ์ ํ๋ค์ค ์ค๊ณ์์ ๋ฐ์ํ๋ฏ๋ก, ์ค์ ์์๋ "๋ชจ๋ธ์ด ๋ฌด์์ ํ๋๊ฐ"๋ณด๋ค "์์คํ ์ด ๋ฌด์์ ๋ณด์กดํ๊ณ ์ฆ๋ช ํ๋๊ฐ"๋ฅผ ๋ด์ผ ํ๋ค.
์๊ฐ๋ณ ์์ฝ
-
0:01
๊ฒ์ผ๋ก๋ ์ฑ๊ณต์ฒ๋ผ ๋ณด์์ง๋ง ๋ค์ ํด์์ ๊ธฐ์ต๋์ง ์๋ ์ฌ๋ก๋ฅผ ํตํด, ์ฌ์ฉ์์๊ฒ ๋ณด์ด๋ ์๋ต๊ณผ ์๊ตฌ ๊ธฐ๋ก์ด ์ด๊ธ๋ ๋ ๋ฌธ์ ๊ฐ ์๊ธด๋ค๋ ์ ์ ๊ฐ์กฐํ๋ค. ์คํจ๊ฐ ๋๋ฌ๋๋ ํฌ๋์๋ณด๋ค, ์กฐ์ฉํ ์ฑ๊ณต์ด ๋ ์ํํ๋ฉฐ ์์ด์ ํธ ์ ๋ขฐ์ฑ์ ๋ชจ๋ธ ํ์ง๋ง์ผ๋ก ์ค๋ช ๋์ง ์๋๋ค.
-
2:01
๋ชจ๋ธ์ ์ ์๋ง ํ๊ณ ํ๋ค์ค๊ฐ ์ํ ์ ์ด, ๊ถํ ๊ฒ์ฌ, ์์ ์๋ ์ปค๋ฐ, ์คํ ์ฆ๊ฑฐ๋ฅผ ์ฑ ์์ง๋ ์์ฐ ๊ณ์ฝ์ด ํต์ฌ์ด๋ค. ์ด๋ฒคํธ, ์ธ์ ํค, ๋จ์ผ writer, ํด ์คํ, ๊ฐ์ฌ ๊ธฐ๋ก์ผ๋ก ์ด๋ฃจ์ด์ง ๊ธฐ๋ณธ ๊ตฌ์กฐ๊ฐ ์์ด์ ํธ ์ด์์ ๊ณจ๊ฒฉ์ด๋ฉฐ, ๋งฅ๋ฝ์ ํ๋ค์ค๊ฐ ๋งค ํด ๋ค์ ์กฐ๋ฆฝํ๋ค.
-
7:01
์ํ ์์ ๊ถ์ด ์์ผ๋ฉด ์ฌ์ค์ ์์ ์ ์ผ๋ก ๊ธฐ์ตํ๋ค๊ณ ๋ณผ ์ ์๊ณ , ์ฌ์ ๊ฐ๋ฅํ ๋จ์ผ ์์คํ ์ค๋ธ ๋ ์ฝ๋๊ฐ ์์ด์ผ ํ๋ค. ๋ํ ๋์ writer๊ฐ ์์ผ๋ฉด last writer wins๋ก ์กฐ์ฉํ ๋ฐ์ดํฐ ์์ค์ด ์๊ธฐ๋ฏ๋ก, ๋ณ๋ ฌ ์ฝ๊ธฐ๋ ํ์ฉํ๋ mutable state์๋ ํ๋์ ์์ ์๋ ์ปค๋ฐ ๊ฒฝ๋ก๊ฐ ํ์ํ๋ค.
-
10:01
ํด ํธ์ถ์ด ์ค๊ฐ์ ๋๊ธฐ๋ฉด ์ธ์ ์ด ๋๋์ง ๋ชปํ ์ฑ ๋ฉ์ถ๋ฉฐ, silence๋ ์ ์ ์ํ๊ฐ ์๋๋ผ ์ข ๋ฃ๋์ง ์์ ์์ ์ํ๊ฐ ๋๋ค. ๋ฐ๋ผ์ deadline, cancellation, watchdog, timeout, error result, recovery command๋ฅผ ๊ฐ์ถ๊ณ ๋ชจ๋ ์ธ๋ถ ๊ฒฝ๊ณ์ success, failure, timeout, cancel, max attempts ๊ฐ์ ์ข ๊ฒฐ ์ํ๋ฅผ ๊ธฐ๋กํด์ผ ํ๋ค.
-
12:02
๊ถํ์ ๋จ์ํ ์น์ธ ๊ธฐ์ต์ด ์๋๋ผ ์ธ์ , ๋๊ตฌ, ์ธ์, ๊ธฐ๊ฐ, ๊ฒฐ๊ณผ์ ๋ฌถ์ธ ์คํ ์ํ์ฌ์ผ ํ๋ฉฐ, ์ฌ์๋๋ ๋ณต๊ตฌ ๊ณผ์ ์์ ๊ทธ ์ฆ๊ฑฐ๊ฐ ์ฌ๋ผ์ง๋ฉด ์ ๋๋ค. ๋ด๋ถ ์ปดํฌ๋ํธ์ success๋ ์ฌ์ฉ์์๊ฒ ๋ณด์๋ค๋ ์ฆ๋ช ์ด ์๋๋ฏ๋ก, ์คํยท์ ์ฑ ยท๋ ๋๋ง์ด ์ด์ด์ง๋ ์ฆ๊ฑฐ ์ฌ์ฌ์ receipt๋ก ๋จ๊ฒจ์ผ ํ๋ค.
-
14:00
์ค๋ฌด ์ ๊ฒ์ ํธ๋ฆฌ๊ฑฐ, ์์๋ ์ํ, ์ฌ์ฉํ ๊ถํ, ์ค์ ์คํ, ๋จ์ ์ฆ๊ฑฐ๋ผ๋ ๋ค์ฏ ์ง๋ฌธ์ผ๋ก ์์ฝ๋๋ค. ์ด ์ง๋ฌธ๋ค์ ๋ํ ๋ก๊ทธ๋ฅผ ์์ฐ ์คํ์ผ๋ก ๋ฐ๊พธ๊ณ , opening incident์ฒ๋ผ ์ ๋ฌ์ ์ฑ๊ณตํ์ง๋ง ์๊ตฌ ์ํ๋ ๊นจ์ง ํ๋ค์ค ์คํจ๋ฅผ ๋น ๋ฅด๊ฒ ๋๋ฌ๋ธ๋ค.
์ค๋ฌด ์ธ์ฌ์ดํธ
- ์์ด์ ํธ ์ฅ์ ๋ฅผ ๋๋ฒ๊น ํ ๋๋ ๋ชจ๋ธ ์๋ต์ ๋จผ์ ์์ฌํ๊ธฐ๋ณด๋ค, ์ํ ์์ ๊ถยท๊ถํ ๋ฒ์ยท์ปค๋ฐ ์์ยท์ข ๋ฃ ๊ธฐ๋ก์ด ์ ๋๋ก ๋จ๋์ง๋ถํฐ ํ์ธํ๋ ๊ฒ์ด ํจ์ฌ ๋น ๋ฅด๋ค.
- ์ด์ ๋ก๊ทธ๋ ๋ํ ๋ด์ฉ๋ณด๋ค receipt ์ค์ฌ์ผ๋ก ์ค๊ณํด์ผ ํ๋ฉฐ, ์ฌ์ฉ์์๊ฒ ๋ณด์๋์ง๊น์ง ํฌํจํ ์ฆ๊ฑฐ๋ฅผ ๋จ๊ฒจ์ผ ์ฌํ๊ณผ ์ฑ ์ ์ถ์ ์ด ๊ฐ๋ฅํ๋ค.
- ๋ณ๋ ฌ ์ฒ๋ฆฌ ์์ฒด๋ณด๋ค mutable state์ ๋ํ ๋จ์ผ ์ปค๋ฐ ๊ฒฝ๋ก๋ฅผ ๊ฐ์ ํ๋ ๊ฒ์ด ์ค์ํ๋ฏ๋ก, ์ฝ๊ธฐ ํ์ฅ๊ณผ ์ฐ๊ธฐ ์ง๋ ฌํ๋ฅผ ๋ถ๋ฆฌํด ์ค๊ณํ๋ ๊ฒ์ด ์ข๋ค.