Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

한 줄 핵심

생물학에서는 실험 데이터 분석이 코드처럼 검증 가능한 작업이 될 수 있으므로, 에이전트 성능을 실제 연구 맥락에서 평가할 수 있는 verifiable benchmark와 환경을 만드는 것이 핵심이라는 주장이다.

시간별 요약

1. 0:12
   생물학 데이터는 single cell biology, spatial biology, proteomics를 중심으로 빠르게 커지고 있으며, 한 번의 실험 결과만으로도 일반 노트북에 안전하게 저장하기 어려울 정도의 대용량이 발생한다. 이런 환경에서는 연구가 데이터 생성, 처리, 해석, 주장 제시로 이어지는 일련의 분석 흐름으로 구성되기 때문에, 코드처럼 검증 가능한 분석 구조가 에이전트 학습과 평가의 기반이 될 수 있다.
2. 3:01
   초기에는 바이오텍·파마용 데이터 도구를 만들다가, 실제로는 연구자가 쓰는 분석 환경 자체를 에이전트가 다루게 하며 제품 방향이 바뀌었다. 다만 생물학 작업은 도구 실행이 며칠이나 몇 주 걸릴 수 있어, 단순한 채팅형 보조가 아니라 분석 파이프라인을 오케스트레이션하는 방식이 필요했고, 이를 위해 spatial biology를 출발점으로 삼았다.
3. 7:01
   기존 벤치마크는 질의응답 중심이라 실제 spatial biology 작업을 충분히 반영하지 못했기 때문에, 146문제로 구성된 spatial bench를 직접 만들었다. 평가는 데이터 노드, 과제 프롬프트, grader 설정, deterministic grader로 구성되며, 성공 조건을 함수로 검증할 수 있어야 하고, 과도한 정답 의존보다 경로에 무관한 안정적 기준을 잡는 것이 중요하다는 점이 강조된다.
4. 10:00
   human verification을 거치면서 많은 과제가 원래부터 모호하거나 임의적 수치 기준에 의존하고 있었다는 사실이 드러났고, 이는 자동 채점만으로는 놓치기 쉬운 문제였다. 이에 따라 논리적으로 가능한 해석 경로가 여러 개여도 평가가 흔들리지 않도록 검증된 subset을 만들었고, 더 긴 시간축의 실제 연구 업무를 재현하기 위해 장기 과제 벤치마크도 확장했다.
5. 14:00
   이후 작업은 single-cell, epigenomics, drug discovery, preclinical pharmacology, biosecurity까지 확장되었고, frontier labs와 커뮤니티가 이 벤치마크를 자연스럽게 채택하기 시작했다. 특히 routine task와 red team task를 함께 두어 현실적인 연구 사용과 위험한 남용 가능성을 함께 측정하는 방향으로 나아가며, 생물학 에이전트의 실전성과 안전성을 동시에 끌어올리려는 흐름이 형성되고 있다.

실무 인사이트

• 생물학 에이전트를 만들 때는 모델 성능보다 먼저 성공 조건을 함수로 검증할 수 있는 작업 단위로 문제를 쪼개야 한다.
• 실제 도입을 원하면 Q&A형 데모보다 연구자가 반복 수행하는 분석 워크플로를 그대로 재현한 benchmark와 평가 로그가 더 설득력 있다.
• 장기적으로는 기능 정확도뿐 아니라 red team task를 포함한 안전성 평가까지 함께 설계해야 바이오 분야에서 신뢰 가능한 에이전트로 확장할 수 있다.