Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI

한 줄 핵심

값싼 고도 지능이 데이터 변환의 비용 구조를 바꾸면서, 고정된 전사적 스키마보다 결정 시점에 맞춰 검증된 온톨로지를 조립하고 재사용하는 방식이 더 실용적이라는 주장이다.

시간별 요약

1. 0:00
   값싼 변환과 Ohio 데이터 পাই프라인 데이터 인프라가 변환은 비싸다는 전제 위에 만들어졌지만, 이제는 판단을 저비용으로 대규모 적용할 수 있어 구조 자체가 바뀔 수 있다. Ohio 선거자금 데이터의 개체 해소 작업에서 모델을 시험·통합해 전체 주 주의 정답을 예산보다 훨씬 적은 비용으로 만든 사례가 이를 보여준다.
2. 1:44
   보편적 스키마가 무너지는 이유 하나의 슈퍼 스키마로 모든 정보를 통합할 수 있다는 생각은, 실제로는 소스·저장·결정·모델의 네 가지 서로 다른 스키마가 존재한다는 점에서 무너진다. 같은 데이터라도 어떤 결정을 내리느냐에 따라 필요한 필드와 정확도, 맥락이 달라지므로 사전 통일보다 상황별 해석이 중요하다.
3. 4:28
   결정을 위한 온톨로지 만들기 변환은 기록 당시의 맥락과 결정에 필요한 맥락을 결합해 정보를 쓸모 있게 만드는 과정이며, 이를 결정 시점에 맞춰 수행하는 것이 just-in-time ontology다. 즉, 먼저 정답을 정의한 뒤 그에 맞는 맥락을 붙여야지, 미리 보편 정의를 완성해 두려 해서는 안 된다.
4. 5:34
   세 가지 데이터 작업 유형 데이터 업무는 한 번 쓰고 한 번 돌리는 작업, 여러 번 쓰지만 한 번만 실행되는 대규모 이행 작업, 그리고 계속 유지·개선되는 반복 파이프라인으로 나뉜다. 특히 마지막 유형이 핵심이며, 재사용 가능한 시스템으로 비용·성능·속도를 스스로 개선하게 만드는 것이 실무의 중심이 된다.
5. 8:30
   설계자, 작업자, 최적화하는 모델 지능이 데이터 작업에서 맡는 역할은 파이프라인을 설계하는 일, 파이프라인 안에서 실제로 일하는 일, 그리고 스스로 더 나은 해법을 찾는 일로 구분된다. 설계에는 느리지만 깊게 생각하는 모델이, 실행에는 빠르고 반복에 강한 모델이, 최적화에는 안정된 기반 위에서 탐색하는 모델이 적합하다.
6. 10:34
   개체 해소와 정의 검증 Ohio 선거자금 데이터에서 모델의 성능은 단순히 답을 맞히는 문제가 아니라, 무엇이 household인지, committee인지, filer인지 같은 정의를 단계적으로 검증하는 문제였다. 개별 질문의 기준을 조정하며 203,317건 전체에 근거 라벨을 붙였고, 확인 비용이 실제 답변보다 더 컸지만 이후 재사용 가능한 검증 파이프라인이 남았다.
7. 13:58
   모델의 사전지식과 조용한 데이터 오류 모델은 입력을 해석할 때 자신만의 사전지식과 가정을 끌고 들어오며, 이 때문에 형식 차이나 부호 해석, 날짜 포맷 같은 사소한 차이를 조용히 잘못 처리할 수 있다. 사람이 확인하는 이유는 단순한 감이 아니라, 모델의 priors와 인간의 priors를 교차시켜 놓치는 오류를 잡아내기 위해서다.
8. 15:41
   교차 모델 검증과 공유된 실수 서로 다른 모델이 같은 답에 동의하면 정확할 가능성이 높고, 의견이 갈리는 구간에 오류가 집중된다. 다만 서로 다른 모델군도 같은 편향을 공유할 수 있으므로, 교차 검증은 오류 범위를 줄여 주지만 마지막에는 공통 편향 목록을 따로 관리해야 한다.
9. 16:42
   자가 최적화를 위한 네 가지 요건 모델이 스스로 최적화하려면 안정적인 실행 표면, 비용·시간·접근을 제한하는 실험 경계, 축적된 방법론과 노하우, 그리고 실패를 반복적으로 맞대볼 수 있는 표면이 필요하다. Hank Weave 같은 하네스는 이 네 가지를 함께 제공해 에이전트가 안전하게 탐색하고 되돌릴 수 있게 만든다.
10. 18:14
    제한된 파일럿과 재사용 가능한 검증 구간 복잡한 작업은 먼저 분해하고, 작은 범위의 파일럿으로 실패 기준을 정한 뒤, 잘 작동한 부분을 codon 같은 재사용 가능한 구간으로 묶어 순차적으로 확장해야 한다. 그렇게 만들어진 온톨로지와 중간 결과는 맥락과 근거를 보존한 채 다음 작업에 재사용되며, 보편 스키마 대신 맥락 있는 재사용성이 핵심이 된다.

실무 인사이트

• 데이터 품질 문제를 전처리 결함으로만 보지 말고, 어떤 결정을 위해 어떤 정의가 필요한지 먼저 고정해야 오류를 줄일 수 있다.
• 모델 도입의 ROI는 답변 생성 자체보다 검증·재사용 가능한 파이프라인을 만드는 데서 더 크게 나온다.
• 실무에서는 단일 정답을 찾기보다, 실패 기준이 분명한 작은 파일럿을 빠르게 반복해 재사용 가능한 검증 단위를 축적하는 전략이 효과적이다.