Semantic Blindness: 500,000 Sensors Confused an LLM - Raahul Singh & Vanč Levstik, Phaidra

한 줄 핵심

대규모 센서·장비 이름을 LLM이 직접 다 읽고 찾게 하면 정확도와 비용이 무너지므로, 계층 구조를 활용해 LLM은 의도와 탐색 계획만 맡기고 나머지는 결정적 코드로 처리해야 한다는 내용이다.

시간별 요약

1. 0:00
   AI factory에서 500,000개 센서 이름을 LLM에 그대로 넣으면 의미적 혼란이 생기며, 소규모 데모에서는 되더라도 대규모 운영에서는 검색·응답이 쉽게 한계에 부딪힌다.
2. 2:01
   유사한 이름을 벡터 검색이나 단순 LLM으로 처리하면 recall이 떨어지고 가짜 장비가 생기거나 실제 항목이 누락되며, 반복 출력에 따른 내부 제약까지 겹쳐 신뢰할 수 없는 결과가 나온다.
3. 5:00
   해결책은 장비 수가 아니라 트리 깊이에 맞춰 시스템을 설계하는 것이며, 요약된 계층 경로로 전체 구조를 압축해 LLM이 큰 규모에서도 동일한 수준의 맥락을 보게 만드는 방식이 핵심이다.
4. 7:02
   LLM은 검색 자체보다 검색 계획에 더 적합하므로, 질의에서 대상·범위·필터를 구조화해 뽑아내고, 실제 조회와 교집합 계산은 백엔드의 결정적 로직이 수행해야 정확도가 유지된다.
5. 11:01
   새 접근법은 실제 생산 데이터와 66개 사례에서 100% 정확도를 보였고 토큰 비용도 크게 줄였으며, 대규모 구조화 데이터에서는 LLM이 판단해야 할 부분만 남기고 나머지는 코드로 고정하는 것이 AI-native 시스템의 정석임을 보여준다.

실무 인사이트

• 구조가 명확한 데이터는 LLM에 통째로 맡기지 말고, 계층·스키마·규칙을 코드로 모델링한 뒤 LLM에는 의도 해석과 경계가 모호한 판단만 맡기면 비용과 정확도를 동시에 잡을 수 있다.
• 실서비스 전환에서는 데모 성공보다 대규모에서의 recall, 누락, 환각, 토큰 비용을 별도로 검증해야 하며, 동일 모델·동일 데이터로 기존 방식과 head-to-head 평가를 돌리는 것이 효과적이다.
• 검색형 에이전트는 반복 추론 루프를 늘리는 대신, 한 번의 계획 후 결정적 실행으로 끝내는 편이 신뢰성과 운영 비용 측면에서 유리하다.