On AI and Knowledge — Pablo Castro, Distinguished Engineer & CVP for AI Knowledge, Microsoft

한 줄 핵심

AI 에이전트의 성능은 모델이 가진 내재 지식만으로 결정되지 않고, 조직의 데이터에 연결하는 컨텍스트 엔지니어링과 평가·최적화 루프를 얼마나 잘 설계하느냐에 의해 크게 좌우된다.

시간별 요약

1. 0:01
   지식은 intrinsic, extrinsic, learned 세 가지로 나뉘며, 지금의 AI 도약은 모델 내부에 저장된 intrinsic knowledge가 출발점이 됐다. IntelliSense, GitHub Copilot, Cursor, OpenAI의 코드 생성 흐름까지 이어진 변화는 모델이 이미 알고 있는 내용을 바탕으로 작업을 빠르게 완성하는 능력이 얼마나 큰 전환점인지 보여준다.
2. 4:00
   조직 안에서 실제로 일을 하려면 모델 지식만으로는 부족하고, 문서·이메일·채팅·데이터 웨어하우스·웹 같은 주변 데이터를 함께 연결해야 한다. Microsoft IQ와 Foundry IQ, web IQ는 이런 ambient data를 에이전트가 바로 활용할 수 있게 묶어 주는 진입점으로 설계되어 있다.
3. 7:01
   검색은 단순한 vector search로 끝나지 않으며, 실제 성능은 여러 retrieval 방법을 결합할 때 더 좋아진다. Foundry IQ는 chunking, vectorization, lexical retrieval, ranking, agentic retrieval을 계층화해 기본 사용자는 단순하게 시작하고, 고급 사용자는 하위 스택까지 제어할 수 있게 만든다.
4. 10:06
   knowledge base는 Foundry에서 에이전트의 지식 प्रवेश점이자, 별도의 MCP server로도 동작해 glue code 없이 다른 하네스에 연결할 수 있다. 사용자는 PDF, 구조화 테이블, 웹 데이터를 함께 넣고, 필요하면 Azure에서 인덱스 구조, quantization 방식, chunk 구성까지 직접 확인·조정할 수 있다.
5. 13:00
   learned knowledge는 조직의 작업 과정 자체를 반영해 에이전트를 점점 더 잘하게 만드는 학습 루프다. Foundry의 agent optimizer는 baseline 평가, 후보 생성, 재평가, 배포까지 자동화하며, instructions·skills·tools를 외부화해 둔 에이전트일수록 실제 사용 흔적을 바탕으로 빠르게 개선된다.

실무 인사이트

• 에이전트 도입 시 모델 선택보다 먼저 조직 데이터의 grounding 범위와 retrieval 구조를 설계해야 실제 업무 적합도가 높아진다.
• RAG는 벡터 검색만 붙이는 수준을 넘어, 평가 기준을 정하고 다중 검색 전략과 agentic retrieval을 함께 운영할 때 효과가 커진다.
• 프롬프트와 도구 정의를 외부 설정으로 분리해 두면, 평가-최적화-배포 루프를 자동화하기 쉬워지고 지속 개선이 가능해진다.