Building on the Codex Harness — Dominik Kundel, OpenAI

한 줄 핵심

Codex harness를 감싸는 open source App Server를 활용해 모델·도구·권한·배포 방식을 직접 제어하면, 복잡한 에이전트 인터페이스를 더 쉽게 만들 수 있다.

시간별 요약

1. 0:00
   소개 직접 에이전트 하네스를 만드는 부담을 줄이기 위해, Codex harness 위에 인터페이스를 얹는 방법을 설명한다. OpenAI에서 Codex 개발자 경험을 담당하는 관점에서, 더 쉽게 자신만의 에이전트 환경을 만들 수 있다는 점을 강조한다.
2. 0:52
   App Server란 무엇인가? Codex app server라는 개념이 소개되며, 이것이 무엇인지 아직 충분히 설명되지 않았음을 짚는다. 단순한 앱 기능이 아니라 Codex를 감싸는 핵심 구성요소라는 문제의식이 열린다.
3. 1:12
   Codex 뒤의 프로토콜 App Server는 Codex harness를 감싸는 프로토콜이며, agent client protocol과 유사하게 하네스 위에 직접 통합할 수 있게 만든다. 즉, 제품 기능이 아니라 하네스와 클라이언트 사이의 상호작용 규격이 핵심이다.
4. 1:37
   오픈 소스, 어떤 모델 제공자든 가능 Codex harness와 App Server 모두 오픈 소스이며 Apache 2 라이선스로 제공된다. responses API 호환만 되면 다른 모델 제공자도 연결할 수 있고, LM Studio나 Ollama 연결도 비교적 쉽게 설정할 수 있다.
5. 2:17
   동작 방식 App Server는 JSON RPC 스타일 프로토콜로 동작하며, Codex 앱·IDE 확장·VS Code 확장 같은 1st-party 인터페이스와 외부 클라이언트를 모두 구동한다. 클라이언트와 서버가 메시지와 이벤트를 주고받아 작업을 수행하는 구조다.
6. 3:32
   실시간 이벤트 살펴보기 데모 실제 Codex 앱과 App Server 사이를 가로채는 인스펙터를 통해 이벤트 흐름을 보여준다. 스트리밍 데이터, 새 스레드 시작, 설정 읽기, 파일 검색 같은 내부 동작이 그대로 노출되어, 같은 기능을 외부 클라이언트에서도 활용할 수 있음을 드러낸다.
7. 5:31
   120개 이상의 클라이언트 메시지 초기화, 스레드 수정, goal 설정, 플러그인 나열, 파일 검색, 파일 수정 등 120개가 넘는 클라이언트 메시지를 지원한다. 일반적인 채팅 기능을 넘어서 에이전트의 세부 동작과 샌드박스 권한까지 제어할 수 있다.
8. 6:31
   ChatGPT로 로그인 이 프로토콜을 쓰면 사용자가 자신의 ChatGPT 구독을 그대로 가져와 Codex 사용량 한도에 연결할 수 있다. 외부 앱을 만들더라도 인증과 과금 경험을 자연스럽게 이어갈 수 있다.
9. 6:56
   개발자 지침 개발자 지침은 Codex의 시스템 프롬프트 위에 추가되는 방식으로, 기본 프롬프트를 대체하지 않고 보강한다. 모델별로 이미 다듬어진 프롬프트의 장점을 유지하면서 앱 특화 요구를 반영하는 데 적합하다.
10. 7:41
    동적 도구와 지연 로딩 도구 MCP 같은 방식으로 추가 도구를 노출할 수 있고, 도구를 직접 정의할 수도 있다. 특히 deferred loading을 쓰면 도구를 시스템 프롬프트에 넣지 않고 tool search로 찾게 해 컨텍스트 오염을 줄이며, 스레드별로 모델·샌드박스·네트워크 권한도 조정할 수 있다.
11. 8:46
    바이너리 배포 App Server는 Codex CLI와 같은 바이너리로 제공되어, 이미 CLI가 있으면 바로 실행할 수 있다. Codex 앱에도 번들로 포함되며, Windows에서는 WSL용 Linux 바이너리와 네이티브 Windows 바이너리를 함께 배포한다.
12. 9:46
    바인딩과 전송 방식 버전 변화에 대응할 수 있도록 TypeScript bindings와 JSON schema를 생성할 수 있다. 전송 방식은 STDIO와 web socket을 지원하며, 어떤 방식이 맞는지는 Codex에게 물어보는 것이 가장 빠르다고 정리한다.
13. 10:31
    Python SDK 최근 공개된 Python SDK는 생명주기 관리를 대신 처리해 주고, ChatGPT 로그인 통합도 더 쉽게 만든다. 복잡한 하네스 세부사항을 직접 다루지 않고도 앱 통합을 시작하기 좋은 진입점이다.
14. 10:51
    그냥 Codex에게 맡기기 Codex는 이 프로토콜 구현에 강하므로 문서를 붙여 주기만 해도 많은 부분을 알아서 처리한다. macOS 앱 생성 플러그인이나 Visual Basic 클라이언트 같은 엉뚱한 실험도 빠르게 구현할 수 있고, 채팅 UI가 아닌 다양한 실행 방식으로 확장할 수 있다.
15. 12:00
    Doom 안의 Codex Codex를 Doom 안에서 실행하는 실험을 통해, 에이전트 인터페이스가 반드시 전통적인 앱 형태일 필요는 없음을 보여준다. Electron, Doom Wasm, IPC를 통해 게임 내부에서 Codex가 동작하고 대화까지 처리한다.
16. 13:40
    Doom에 도구 주기 데모 동적 도구를 붙여 armor, health, weapons, ammo 같은 게임 상태를 읽게 하고, 쉘을 통해 현재 디렉터리도 확인하게 만든다. 같은 하네스가 실제 머신에서 돌아가므로, 게임 안에서도 코드를 쓰고 작업을 수행하는 인터페이스를 만들 수 있다.
17. 14:50
    App Server와 codex exec의 차이 Codex Exec는 비대화형 작업을 스크립팅할 때 유용해 CI/CD나 PR 자동 수정에 적합하다. 반면 App Server는 여러 스레드를 동시에 띄우거나 eval harness, goal 모드 같은 복합 인터랙션을 구성할 때 더 강하다.
18. 15:55
    세 가지 팁 첫째, 사용자 설치본에 기대지 말고 자신의 하네스 버전을 함께 배포해야 한다. 둘째, 새 기능은 인터페이스로 노출하되 deferred로 두어 컨텍스트를 지키고, 셋째, 기본 시스템 프롬프트를 갈아엎기보다 developer instructions부터 확장하는 편이 안전하다.

실무 인사이트

• 에이전트 제품을 만들 때는 모델 성능보다 하네스 배포 전략이 더 큰 안정성 차이를 만든다. 사용자 환경 의존성을 줄이려면 바이너리와 버전을 앱에 포함하는 방식이 유리하다.
• 도구를 많이 붙인다고 능사가 아니며, deferred loading처럼 컨텍스트를 오염시키지 않는 설계가 실제 품질을 좌우한다.
• 비대화형 실행 도구와 상호작용형 하네스를 구분해 쓰면, CI 자동화와 복합 에이전트 UI를 각각 더 적합한 방식으로 구현할 수 있다.