Trading Desks to Clinical Trials: Parallels in Applied Vertical AI — Ayush Bhardwaj, Allos AI

한 줄 핵심

세로형 적용 AI는 범용 모델을 붙이는 일이 아니라, 좁은 업무를 정의하고 독점 데이터를 확보한 뒤 도메인 전문가를 루프에 넣어 ROI가 검증되는 제품으로 바꾸는 과정이다.

시간별 요약

1. 0:00
   현장 분위기 읽기 헤지펀드와 pharma tech에서의 적용 AI 경험을 바탕으로, 세로 산업에서 AI를 만들고 개선하는 실제 방법을 공유하겠다는 문제의식이 제시된다. 엔지니어와 관리자의 비중을 가볍게 확인하며, 이 주제가 실무자에게 어떻게 다르게 들리는지 분위기를 잡는다.
2. 1:04
   적용 세로형 AI의 의미 적용 세로형 AI는 특정 산업의 한 직무를 대신하도록 설계된 적용 AI이며, Google Translate처럼 범용인 도구와 구별된다. hedge fund와 pharma처럼 규칙과 속도는 달라도, 산업별로 맞춤화된 AI를 만드는 본질은 크게 다르지 않다.
3. 2:43
   헤지펀드에서 pharma로 옮겨도 바뀌지 않은 것 금융과 제약은 속도와 정확성의 우선순위가 다르지만, 실제로는 적용 AI를 만드는 핵심 패턴이 거의 같다는 점이 강조된다. legal AI나 prop tech까지 비슷한 구조로 움직인다는 관찰에서, 업종을 넘어 추상화 가능한 공통 레시피가 있다고 본다.
4. 3:34
   운영 환경에서 에이전트를 묻는 질문의 오류 에이전트를 생산 환경에 넣는지보다, 그 에이전트가 실제로 돈을 벌거나 비용을 줄이는지가 더 중요한 질문이다. 투자 대비 효과가 입증되면 이미 많은 조직이 에이전트를 실사용 중이라는 현실적인 관점이 제시된다.
5. 4:27
   첫 단계는 일을 좁게 정의하는 것 한 에이전트에게 너무 많은 일을 맡기지 말고, 산업과 업무 범위를 아주 구체적으로 좁혀야 한다. 금융이라면 시장 전체가 아니라 미국 주식과 특정 산업처럼 범위를 줄이고, 그 안에서만 판단하도록 설계해야 한다.
6. 5:18
   진짜 차별점은 독점 데이터 뉴스, 논문, 공개 DB는 누구나 쓸 수 있으므로 차별화 요소가 되기 어렵고, 경쟁력을 만드는 것은 조직만 가진 독점 데이터다. 금융의 trade thesis, 제약의 실패한 실험 데이터처럼 공개되지 않거나 정제되지 않은 내부 데이터를 구조화하는 일이 핵심 자산이 된다.
7. 6:57
   쉬운 부분은 한 화면에 들어간다 문제 정의, 데이터 확보, 프롬프트 작성, 관측성 설정 같은 초기 작업은 생각보다 단순하고 짧은 코드로도 구현된다. 그래서 이 구간 자체는 모트가 아니며, 핵심 경쟁력은 결국 독점 데이터와 그 이후의 반복 개선에 있다.
8. 7:50
   판단할 수 없으면 반복도 불가능하다 도메인 지식이 없으면 모델의 출력이 좋은지 나쁜지 스스로 판단할 수 없어서, 개선 루프를 만들 수 없다. 특히 세로 산업에서는 엔지니어나 일반 LLM만으로는 품질을 판별하기 어려워, 겉으로는 완성돼 보여도 실제로는 조용히 실패하기 쉽다.
9. 9:30
   모델을 심판으로 쓰려는 시도 LLM을 judge로 쓰는 방식은 이 분야에서 한계가 뚜렷하며, 수학이나 코드처럼 정답 검증이 가능한 영역과 다르다. 금융·제약처럼 오류가 누적되는 문제에서는 모델이 자기 자신을 검증할 수 없고, 결국 사람이 판단 기준을 제공해야 한다.
10. 10:21
    데이터는 원래 없도록 설계돼 있다 헤지펀드의 투자 성과와 제약의 임상 실패 결과는 모두 경쟁 우위이기 때문에, 공개되지 않거나 늦게 공개되도록 설계되어 있다. 이런 이유로 OpenAI나 Anthropic 같은 범용 모델 제공자는 해당 도메인에 필요한 결정적 데이터를 충분히 갖지 못한다.
11. 12:05
    사용자를 채용하라 도메인 제품을 만들려면 결국 그 제품을 쓸 사람을 내부에 채용해야 한다. trader나 20대 scientist 같은 실제 사용자가 들어오면, 도구의 언어와 문제정의가 바뀌고 외부 고객에게도 훨씬 설득력 있게 전달된다.
12. 12:55
    도메인 전문가를 중심으로 학습 루프 만들기 도메인 전문가는 데이터 선별, 프롬프트 개선, 문제 분해, 판단 기준 정교화에 직접 참여하며 제품의 학습 루프를 만든다. 이 과정에서 전문가의 사고방식이 에이전트의 동작 방식으로 점차 전환된다.
13. 14:39
    오류 분석에서 선호 학습까지 가장 저렴하고 효과가 큰 방법은 로그를 보고 오류를 분석해 바로 고치는 것이고, 그 다음에야 supervised fine-tuning이나 RLHF를 고려할 수 있다. 다만 고도화할수록 비용과 유지보수 부담이 커지므로, 점진적으로 올라가는 전략이 필요하다.
14. 16:20
    출시와 작동은 같은 뜻이 아니다 대부분의 기업용 AI 에이전트는 생산 환경에 들어가더라도, 실제로는 ROI를 증명하지 못해 실패한다. 금융과 제약처럼 즉시 돈을 벌거나 절감하지 못하면 버려지는 시장에서는, 배포 자체보다 경제적 성과가 더 중요한 기준이다.
15. 17:10
    일곱 단계로 정리한 흐름 문제 정의, 데이터 확보, 프롬프트 설계, 관측성, 사용자 채용, 학습 루프, 출시라는 순서가 세로형 AI를 구축하는 기본 패턴으로 정리된다. 이때 사람은 계속 확장용 학습 자원으로 투입되고, 충분히 유효성이 확인된 뒤에야 외부 고객에게 제공된다.
16. 18:00
    사람이 아니라 AI가 루프 안에 들어가야 한다 현 시점의 금융과 제약에서는 인간이 최종 판단자이고, AI는 후보를 빠르게 만들어 주는 보조 도구에 가깝다. 모델이 진짜로 causation을 이해하지 못하는 한, 인간의 도메인 판단을 대체하기보다 시간을 줄여 주는 방식이 현실적이다.
17. 19:00
    해자는 도메인 전문성과 데이터다 모델 인프라나 일반적인 AI 도구는 모두가 살 수 있는 상품이므로, 진짜 방어력은 독점 데이터와 그 데이터를 해석할 도메인 전문성에서 나온다. 인터넷에 없는 내부 데이터와 축적된 판단력이 결합될 때만 세로형 AI의 지속 가능한 모트가 만들어진다.

실무 인사이트

• 세로형 AI를 만들 때는 먼저 '무엇을 대신할지'보다 '무엇을 아주 좁게 자동화할지'를 정의해야 성공 확률이 높다.
• 독점 데이터가 없다면 제품 차별화가 약해지므로, 공개 데이터 수집보다 내부 데이터의 구조화·정제가 우선순위가 되어야 한다.
• 정답을 판단할 수 있는 도메인 전문가를 제품 루프에 포함시키지 않으면, 개선이 아니라 착각만 반복될 가능성이 크다.