When Agents Meet Physical Data: The Other Physics of Agent Harnesses - Dmitry Petrov, DataChain

한 줄 핵심

비정형 물리 데이터에서는 모델을 더 강하게 만드는 것보다 데이터 하네스, 실행 엔진, 테스트, 메모리를 함께 설계해야 코딩 에이전트가 실제로 쓸 만한 결과를 낸다.

시간별 요약

1. 0:02
   비정형 물리 데이터는 영상, 센서, 로봇 텔레메트리처럼 구조가 복잡하고 연결성이 높아 에이전트가 쉽게 실패한다. 데이터 프로젝트의 문제는 LLM 자체보다 데이터 하네스와 컨텍스트 설계가 부족한 데서 커지며, 이를 보완해야 에이전트 정확도가 올라간다.
2. 2:00
   물리 데이터에서 중요한 것은 데이터를 ‘보는’ 능력, 결과를 검증하는 능력, 테스트를 돌리는 능력, 그리고 중요한 결과를 기억하는 능력이다. 수천 개의 파일이 내부적으로는 수백만 개 객체로 폭증하므로, 파일을 단순 저장하는 방식으로는 분석과 재사용이 불가능하다.
3. 4:00
   JSON을 S3 옆에 두는 방식은 지연이 크고, 중앙 데이터베이스로만 몰아넣는 방식은 도구와 언어가 분리되어 복잡해진다. Pydantic으로 스키마와 코드를 같은 언어로 다루면 SQL 섬을 줄이면서 구조화된 메타데이터를 Python 중심으로 관리할 수 있다.
4. 6:00
   Data Chain 데모에서는 Cloud Code 같은 코딩 에이전트가 비디오 모션 분석 작업을 수행하고, 모델 선택, 속도 추적 방식, 프레임 단위 같은 질문을 먼저 통해 분석 범위를 정한다. 이렇게 생성된 스키마와 코드로 91개 클립을 처리해 24분 만에 결과를 만들고, 이후에는 데이터베이스 질의로 사람 포함 영상 수 같은 질문에 빠르게 답한다.
5. 13:01
   대규모 물리 데이터 처리의 핵심은 실행 엔진, 체크포인트, 증분 갱신, 테스트, 그리고 재사용 가능한 지식베이스다. 원시 데이터 위에 바로 무거운 스크립트를 반복 실행하는 대신 메타데이터 계층과 데이터 라인리지를 만들면 같은 계산을 되풀이하지 않고, 팀 전체가 결과와 맥락을 공유할 수 있다.

실무 인사이트

• 물리 데이터 프로젝트에서는 먼저 스키마, 메타데이터, 실행·복구 전략을 정하고 나서 모델 선택을 해야 실패 비용을 줄일 수 있다.
• 에이전트가 질문에 바로 답하게 만들기보다, 재사용 가능한 메타데이터 계층이 충분한지 먼저 판단하게 하면 속도와 정확도가 함께 오른다.
• 분석 결과를 MD 파일과 지식베이스로 남겨 라인리지를 만들면 재계산을 줄이고 팀 내 중복 작업을 크게 줄일 수 있다.