WF26: Harness Engineering & Startup Battlefield ft. Garry Tan, Mike Krieger, @t3dotgg , DSPy

한 줄 핵심

이 영상은 AI 에이전트의 성능이 모델 자체보다 하네스, 컨텍스트, 도구 연동, 평가, 보안 같은 주변 설계에 크게 좌우되며, 실제로는 이를 제품·조직 차원에서 재구성해야 한다는 점을 강하게 보여준다.

시간별 요약

1. 11:15
   행사의 중심 주제가 하네스 엔지니어링으로 제시되며, 프런티어 모델을 쓰더라도 작업을 모델 바깥에서 어떻게 감싸고 통제하느냐가 핵심이라고 정리된다. 행사 전반이 모델 발표보다 실행 구조와 운영 체계에 초점이 맞춰진다.
2. 17:00
   AI 엔지니어 설문 결과는 업계가 멀티모달, 모델 선택, 비용, 에이전트 권한, 평가 문제를 동시에 겪고 있음을 보여준다. 특히 모델은 단일 표준으로 수렴하지 않고, 비용과 품질이 함께 의사결정의 중심으로 올라왔다.
3. 22:01
   오픈 웨이트 모델이 늘었지만 폐쇄형 모델을 대체하기보다 보완하는 형태가 우세하다. 조직은 여러 모델을 작업 유형별로 라우팅하며, 모델 표준화보다 도구·플랫폼 표준화가 더 빠르게 진행된다.
4. 25:01
   비용은 이제 부차적 고려가 아니라 첫 번째 엔지니어링 제약으로 자리 잡았다. 토큰 사용량과 비용이 생산성과 동시에 모니터링 대상이 되면서, AI 제품은 품질뿐 아니라 사용 경제성까지 설계해야 한다.
5. 26:01
   에이전트는 단순 요약·초안 작성에서 벗어나 실제 시스템에 쓰기 권한을 가진 실행 주체로 이동하고 있다. 그만큼 인간 승인, 권한 게이팅, 샌드박스, 메모리 같은 제어층이 에이전트 신뢰도의 핵심이 된다.
6. 28:00
   스택의 가장 큰 과제는 여전히 evals이며, 무엇을 평가할지 합의하는 문제 자체가 업계의 공통 난제다. 구현보다 검증이 더 어렵고, 어떤 층을 사서 쓰고 어떤 층을 직접 만들지의 경계도 아직 안정되지 않았다.
7. 30:03
   조직 차원의 효과는 전반적으로 긍정적이지만, 리뷰 부담과 깊은 기술 이해의 약화 같은 부작용도 빠르게 나타난다. 비개발자도 기능을 배포하는 비율이 높아지면서 소프트웨어 생산의 진입장벽이 재편되고 있다.
8. 36:06
   AI 워크로드는 대규모 전송 중심에서 점점 작은 메시지와 낮은 지연시간이 중요한 구조로 바뀌고 있다. TCP와 RDMA는 이런 혼합 워크로드에서 tail latency가 커지기 쉬우며, 짧은 메시지의 지연이 전체 처리량을 갉아먹는다.
9. 47:01
   Homa는 메시지 기반, 수신자 중심 혼잡 제어, 우선순위 큐 활용이라는 다른 설계로 짧은 메시지의 지연을 크게 줄인다. 핵심은 네트워크 프로토콜을 AI 시대의 워크로드에 맞게 다시 설계하는 것이다.
10. 54:00
    DSPy는 AI 프로그램을 함수처럼 다루도록 만들어, 명세·코드·평가를 분리해 재사용성과 최적화를 높인다. 구현 세부를 고정하지 않고 인터페이스를 먼저 정의하면 새로운 기법을 끼워 넣기 쉬워진다.
11. 1:04:01
    기업 도입에서는 구현을 더 싸게 만들 수 있고, 같은 평가 체계를 유지한 채 새로운 모델과 기법을 계속 시험할 수 있다. DSL처럼 작동하는 하네스가 있어야 연구 기법을 제품에 빠르게 이식할 수 있다.
12. 1:12:18
    Anthropic 사례에서는 모델을 더 잘 쓰는 것만큼, 목표를 명확히 던지고 결과를 검토하는 위임 방식이 중요해졌다. 코드 리뷰도 단순 라인 검토가 아니라 의도와 트레이드오프를 이해하는 방향으로 바뀌고 있다.
13. 1:39:01
    Neo4j는 에이전트가 여러 데이터 소스와 업무 규칙을 매번 다시 찾지 않도록, 비즈니스 온톨로지·기술 온톨로지·실행 흔적을 한 층으로 묶는 방식을 제안한다. 이는 두꺼운 에이전트보다 얇은 에이전트와 공유 가능한 의미 계층이 더 확장성이 높다는 주장이다.
14. 1:57:00
    Anthropic의 토큰 전략은 모든 토큰이 같은 역할을 할 필요가 없다는 점을 강조한다. 실행, 조언, 채점, 기억 같은 역할을 분리하면 같은 예산 안에서도 더 나은 정확도와 효율을 얻을 수 있다.
15. 2:10:02
    개인 연구 OS 사례는 에이전트가 장기적으로 쓸 수 있는 외부 기억과 검색 계층이 필요하다는 점을 보여준다. 단순히 큰 컨텍스트를 넣는 것보다, 검색 가능하고 편집 가능한 개인 지식 저장소를 설계하는 편이 더 지속 가능하다.
16. 2:20:08
    실무에서는 CLI, MCP, Skill을 서로 다른 추상화 층으로 보고 선택해야 한다. 개인·단일 작업엔 CLI, 공유 서비스엔 MCP, 반복 워크플로엔 Skill이 적합하며, 보안은 프롬프트가 아니라 인프라에서 강제해야 한다.
17. 2:34:00
    Nori는 시각적 산출물도 모델의 언어적 표현 방식에 맞추면 더 잘 만들 수 있다고 보여준다. 캔버스 조작보다 HTML 같은 구조적 표현이 에이전트 친화적이며, 최종 포맷은 나중에 렌더링하면 된다.
18. 2:41:01
    브랜드·고객 응대용 에이전트는 하나의 프롬프트로 처리할 수 없고, 정체성·상황·예시·사후 검증의 여러 층으로 나눠야 한다. 특히 AI 여부 고지나 물리적 존재 같은 경계 규칙은 절대적으로 분리해야 신뢰를 지킬 수 있다.
19. 2:50:00
    에이전트가 더 자율적으로 일하려면 런타임, 도구, 컨텍스트, 피드백, 인간 검토가 모두 필요하며, 이것이 곧 하네스 엔지니어링이다. 앞으로는 사람을 위한 앱만이 아니라 에이전트를 위한 등록·접근·배포 체계도 제품의 일부가 된다.
20. 3:11:02
    현장 사례들은 AI 도입이 단순한 모델 교체가 아니라 회사의 기억, 영업, 운영, 배포 방식을 다시 설계하는 일임을 보여준다. 작은 팀도 지식 축적과 자동화를 잘 묶으면 적은 인원으로도 전체 GTM과 운영을 에이전트화할 수 있다.

실무 인사이트

• 에이전트 성능 개선을 원하면 모델 변경보다 먼저 권한, 메모리, 평가, 안전장치, 관측성부터 정비해야 한다.
• 실무 적용에서는 모든 작업을 범용 에이전트에 맡기기보다 CLI·MCP·Skill을 역할별로 분리해 표준화하는 편이 유지보수와 보안에 유리하다.
• 장기적으로는 외부 지식베이스와 실행 로그를 연결해 에이전트가 다음 작업에서 더 똑똑해지도록 만드는 데이터·컨텍스트 구조가 경쟁력이 된다.