AI Engineer NYC: OpenAI, Blackstone, Ramp, Coinbase, Apollo, Citadel, Basis, Runway, Compute Trading

한 줄 핵심

이 영상은 AI 에이전트가 기업 업무, 금융, 보안, 컴퓨팅 시장을 어떻게 바꾸고 있는지 여러 실무 사례와 운영 원칙으로 보여주는 컨퍼런스 세션 모음이다.

시간별 요약

1. 15:00
   행사 개요와 세션 방향 AI Engineer New York의 마지막 날 프로그램을 소개하며, 평가·검색·자기개선 에이전트부터 개발 도구, 권한, 토큰 경제까지 다양한 주제가 기업 실무와 연결되어 다뤄진다.
2. 20:00
   RAMP의 적용 연구 전략 프론티어 모델을 기다리기보다 현재 가능한 모델로도 즉시 제품 가치를 만들기 위해, 특화 모델 학습·KV cache 압축·에이전트 스웜을 제품과 보안 작업에 적용하는 방식이 제시된다.
3. 35:00
   신뢰할 수 있는 소프트웨어 공장 에이전트 시대에는 코드 생산량보다 출시 신뢰성이 중요하며, 명확한 의도·가이드 레일·독립적 검증·증거를 결합해 confidence를 설계해야 한다.
4. 52:04
   정책 기반 워크플로와 에이전트 배치 정책을 원래의 시스템 프롬프트로 보고, DAG와 루프 구조 안에서 에이전트가 어디에 들어가야 하는지를 결정하며, 검증 가능한 노드부터 점진적으로 자동화를 넓히는 접근이 필요하다.
5. 1:10:04
   ChatGPT for financial services 금융 작업의 핵심은 데이터 품질, 업무에 맞는 인터페이스, 회사별 출력 포맷이며, 모델 역량이 올라가도 실제 가치는 제품 경험과 도메인 데이터가 결정한다.
6. 1:29:00
   에이전트 보안의 다층 방어 에이전트는 권한 오남용, 프롬프트 인젝션, DNS 유출, 메모리 오염, 공급망 공격에 취약하므로, ID·입력 방어·도구 제어·샌드박스·관측성을 기본 방어선으로 깔아야 한다.
7. 1:59:05
   금융 분석가를 대신하는 장기 실행 에이전트 투자은행·사모투자 업무는 다인 협업, 대용량 컨텍스트, 장시간 실행이 핵심이므로, 멀티플레이어 인박스와 자체 오피스 엔진, 스웜 기반 파일 분석으로 실제 딜 워크플로를 에이전트화한다.
8. 2:25:00
   GPU는 운영자가 결정한다 같은 GPU라도 운영 소프트웨어와 배치 방식에 따라 실제 유용 출력이 크게 달라지므로, 컴퓨트는 하드웨어가 아니라 운영 역량까지 포함한 상품으로 봐야 한다.
9. 2:49:12
   컴퓨트 시장이 필요한 이유 GPU 공급 부족, 대규모 보증금, 장기 계약, 클러스터 고장과 지연 문제를 해결하려면 클러스터를 직접 운영하면서 동시에 시장을 만드는 물리적 결제 구조가 필요하다.
10. 3:15:02
    컴퓨트 거래의 다크풀 구조 컴퓨트 거래는 공개 거래소보다 비공개 견적과 장기 계약 중심으로 움직이며, 가격 하락에도 사용량이 늘어나는 Jevons paradox 때문에 가격·용량·전력·자본이 함께 봐야 할 핵심 변수가 된다.
11. 3:39:35
    중립적 컴퓨트 거래소와 포워드 시장 GPU를 직접 소유하지 않는 중립 거래소가 공급자와 수요자를 검증해 연결하고, reserve·forward·중고 서버 시장과 함께 표준화된 거래 인프라를 만드는 것이 목표다.
12. 3:52:00
    컴퓨트 선도곡선과 자산 가치 H100·B200 같은 GPU의 term structure를 보면 장기 가격 기대와 잔존가치가 드러나며, 이는 데이터센터 자산의 평가와 futures·hedging 설계의 기초가 된다.
13. 3:58:42
    엔터프라이즈 에이전트 운영 프레임워크 실험용 에이전트를 생산 환경으로 옮기려면 MCP gateway, 커스텀 MCP 서버, monitoring, memory, tracking·eval, PII 차단, context optimizer가 하나의 표준 프레임으로 묶여야 한다.
14. 4:28:01
    에이전트 신뢰는 성과와 통제로 만든다 에이전트가 실제로 가치를 내려면 cycle time, analyst capacity, detection time 같은 사전 정의 KPI와 함께 책임 소재, 승인 경로, kill switch를 명확히 해야 한다.
15. 0:00
    행사 분위기와 전반적 주제 행사는 AI 엔지니어링이 단순 모델 호출을 넘어 제품, 보안, 운영, 금융, 인프라 전반의 조직 설계 문제로 확장됐다는 점을 보여준다.
16. 16:00
    실무는 이미 에이전트 관리로 바뀌는 중 발표 흐름을 보면 각 회사가 에이전트를 도입하는 수준을 넘어, 비용·지연·검증·권한·책임을 어떻게 운영할지에 집중하고 있다.
17. 23:01
    특화 모델과 시스템 설계의 병행 범용 모델만으로는 느리거나 비싸거나 불안정한 구간이 남기 때문에, 빠른 retrieval 모델과 압축된 컨텍스트, 스웜형 검증을 함께 설계해야 한다.
18. 40:00
    인간 검토만으로는 확장되지 않는다 코드와 의사결정의 양이 폭증한 상황에서는 사람을 마지막에 붙이는 방식으로는 충분하지 않으며, 자동 검증과 증거 생성이 선행되어야 한다.
19. 1:14:03
    모델 역량의 임계점 모델 성능 향상은 선형적으로 보이지만, 실제 업무에서는 사용 가능 임계점을 넘는 순간 채택이 급격히 늘어나므로 제품은 그 전환점에 맞춰 준비돼야 한다.
20. 2:53:02
    컴퓨트 시장은 스타트업 생존 문제 GPU 금융화와 장기 조달 구조가 고도화될수록 초기 스타트업은 자본과 신용이 부족해 배제되기 쉬우므로, 유동성과 재판매가 가능한 시장 인프라가 필요하다.

실무 인사이트

• 에이전트를 도입할 때는 먼저 업무를 DAG로 분해하고, 각 노드마다 자동화 가능 여부·검증 방법·승인 조건을 정해야 실제 운영이 가능하다.
• 보안과 신뢰는 사후 점검이 아니라 설계 단계의 기본값이어야 하며, 특히 권한 분리·외부 반출 통제·감사 로그·kill switch는 필수다.
• AI 인프라와 컴퓨트 조달은 기술 문제가 아니라 금융·운영 문제이기도 하므로, 사용량 예측과 계약 구조까지 함께 설계해야 한다.