Skill issue: stop deploying vision language models, use them with Skills — Merve Noyan, Hugging Face

한 줄 핵심

실시간·비용·라이선스 측면에서 VLM을 런타임에 직접 쓰기보다, Apache 2.0 기반 비전 모델과 VLM을 도구·라벨러·판정자로 엮어 학습 파이프라인을 구성하는 편이 훨씬 실용적이다.

시간별 요약

1. 0:00
   런타임에서 VLM을 바로 쓰는 것을 멈춰야 하는 이유 이미지 분류나 인스턴스 세그멘테이션 같은 작업에서 VLM은 실시간 요구를 맞추기 어렵고, 특화된 비전 모델보다 견고성과 성능이 떨어진다. 개발자는 VLM을 만능 해법으로 쓰기보다, 처음부터 비전 애플리케이션 전체를 구성하는 방식으로 접근해야 한다.
2. 1:51
   라이선스를 읽고 Apache 2.0 모델로 옮기기 YOLO처럼 널리 쓰이는 모델도 라이선스 조건을 확인하지 않으면 배포 비용 문제가 생길 수 있다. 따라서 실무에서는 Apache 2.0 계열 모델을 우선적으로 선택하고, 이를 에이전트가 사용할 수 있는 도구 형태로 묶는 것이 안전하다.
3. 2:46
   코딩 에이전트를 위한 도구 모음, 서툰 컴퓨터 비전 엔지니어 코딩 에이전트는 컴퓨터 비전의 세부를 잘 모르는 상태로 동작하므로, 모델 선택 기준과 도구 구성을 미리 정해줘야 한다. 라이선스, 성능, 그리고 실제 작업에 맞는 감각까지 반영한 모델 도구 묶음이 있으면 에이전트를 실용적인 비전 조수로 바꿀 수 있다.
4. 3:41
   바이브 트레이닝: VLM을 라벨러와 심사위원으로 써서 학습하기 라벨이 없는 이미지 데이터셋도 VLM으로 자동 주석을 달고, 다른 VLM으로 그 주석을 검수한 뒤 학습하면 대규모 파이프라인을 만들 수 있다. Hugging Face 인프라의 jobs, serverless routing, bucket 저장소를 활용하면 이런 장기 작업도 로컬과 원격 모두에서 운영 가능하다.
5. 5:40
   파이프라인: 겹친 박스, 최소 합의, RF-DETR 이미지에 바운딩 박스를 겹쳐 보여주고, 라벨 설명과 함께 판정하게 한 뒤, 여러 심사위원의 의견을 최소 합의 방식으로 합쳐 학습 데이터로 만든다. 이 방식은 단순 점수 부여보다 안정적이며, 최종적으로 RF-DETR medium이나 large를 학습시키는 흐름으로 연결된다.
6. 8:29
   비용: 처음부터 끝까지 몇 달러 수준 라벨링, 판정, 학습을 포함한 전체 파이프라인도 적절한 서버리스와 배치 처리, 저비용 작업잡을 쓰면 전체 비용이 대략 3~4달러 수준까지 내려간다. 계산 자원이 넉넉하지 않아도 로컬 실행이나 작은 모델 조합으로 충분히 재현 가능한 구조다.
7. 9:40
   도로 표지판과 문서 파싱에서의 결과 도로 표지판 탐지에서는 정답 주석과 비교해 높은 mean average precision을 보였고, 문서 파싱에서는 학습 데이터에 없던 signature까지 찾아내며 일반화 능력을 보여줬다. 특히 Qwen 주석이 놓친 항목을 RF-DETR이 찾아낸 점이 이 파이프라인의 실용성을 잘 드러낸다.
8. 11:18
   발견: 심사위원 편향, 프롬프트 승인, 증강 실수 심사위원 모델 간 편향이 커서 consensus를 쓰면 데이터가 너무 줄어들 수 있으며, 문제에 따라 한쪽이라도 승인하면 살리는 전략이 더 잘 맞는다. 또 프롬프트 생성은 자동화되더라도 최종 승인에는 사람이 개입해야 하고, 코드 에이전트는 교통 표지판의 수평 뒤집기처럼 상식적인 데이터 증강 실수를 자주 낸다.
9. 13:20
   세그멘테이션부터 깊이 추정까지, 즐겨 쓰는 모델 도구 이 도구 모음은 depth estimation, zero shot segmentation, OCR, pose 등 다양한 작업을 위한 선호 모델들을 포함한다. Sam 계열이 못하는 복합 참조 세그멘테이션을 Falcon perception이 처리하는 사례처럼, 작업별로 작은 Apache 2.0 모델을 골라 쓰는 전략이 중요하다.
10. 15:52
    미래 계획: 이미지 기반 탐지와 IoU 병합 자연어로 설명하기 어려운 산업 현장 객체에는 이미지 기반 탐지가 더 적합할 수 있으며, 심사위원 판정을 박스 승인·거부 대신 IoU 병합으로 바꾸는 시도도 유망하다. 앞으로는 segmentation 지원을 강화하고, 비전용 Skills와 인프라 Skills를 통해 더 쉽게 학습·배포할 수 있는 방향을 본다.
11. 17:57
    질의응답 VLM 자체를 자기개선시키는 방향은 흥미롭지만, 먼저는 개발자가 작업 특화 모델을 직접 학습하고 엣지에 배포하는 문제를 푸는 것이 우선 과제로 제시된다. 프롬프트 생성을 위해 코딩 에이전트의 컨텍스트를 활용하려는 의도도 함께 설명된다.

실무 인사이트

• 실시간성이 중요하거나 비용이 민감한 비전 작업은 VLM 단독 호출보다, 특화 모델과 VLM 보조를 분리한 파이프라인이 더 적합하다.
• 주석 생성·검수·학습을 한 번에 자동화하려면 모델 성능보다도 라이선스, 합의 전략, 데이터 증강 안전장치가 먼저 설계되어야 한다.
• 작은 Apache 2.0 모델을 작업별 도구로 정리해 두면, 코딩 에이전트가 비전 업무를 수행할 때 품질과 운영 리스크를 동시에 줄일 수 있다.