Turning My Obsidian Vault Into a Local AI Engineer — Filip Makraduli, Superlinked

한 줄 핵심

Obsidian 금고의 민감한 문서를 클라우드에 노출하지 않고 자체 클러스터의 MCP와 오픈소스 추론 인프라로 전처리·비식별화·요약해 토큰 비용과 프라이버시 문제를 동시에 해결하는 방법을 보여준다.

시간별 요약

1. 0:00
   Obsidian 금고의 프라이버시와 토큰 비용 민감한 마크다운 문서를 에이전트에 넣을 때 프라이버시와 토큰 비용이 동시에 문제이며, 이를 해결하려면 클라우드 의존을 줄인 자체 호스팅 방식이 필요하다.
2. 2:29
   더 작은 산출물과 유연한 모델 긴 원문을 그대로 보내기보다 OCR·전처리로 더 작은 산출물을 만들면 문맥 손실을 줄이고 비용도 낮출 수 있으며, 작업별로 다른 모델이나 LoRA를 붙여 적응성을 확보할 수 있다.
3. 4:30
   오픈 추론 엔진과 MCP 패키지 핵심은 Superlinked Sci의 오픈소스 추론 엔진과 MCP 통합 패키지이며, 데이터 저장보다 실제 병목은 여러 모델을 프로덕션 규모로 돌릴 수 있는 추론 인프라에 있다.
4. 7:05
   코딩 에이전트에서 작업 오프로드 평소 작업 흐름은 cloud code를 유지하되 민감하거나 비용이 큰 작업만 별도 에지로 넘겨 처리하는 구조가 이상적이며, 이를 위해 스킬보다 더 강한 MCP 서버 구성이 선택된다.
5. 8:16
   문서 전처리와 문맥 관리 이미지·스캔이 섞인 문서를 OCR과 전처리로 Markdown 등으로 바꾼 뒤 에이전트에 돌려주면 토큰을 절약하면서도 더 좋은 문맥을 제공할 수 있다.
6. 9:11
   사용자가 통제하는 인프라 작업 책임을 분리해 자체 클러스터를 백본으로 두면 GPU, 워커 풀, 핀 고정된 모델 구성을 직접 통제할 수 있고, 민감한 개인정보 처리에도 맞는 구조가 된다.
7. 10:40
   호스트, MCP 서버, GPU 워커 구성은 MCP 호스트·클라이언트·서버와 Sci 클러스터의 3계층으로 나뉘며, 도구 호출은 서버로 모이고 실제 연산은 GPU 워커 풀에서 처리된다.
8. 12:15
   도구 발견과 프로토콜 경계 MCP는 JSON RPC 기반 핸드셰이크로 도구를 발견하게 하며, 이 설정에서는 프라이버시를 위해 서버가 도구만 노출하고 클라이언트가 역방향 샘플링을 열어두지 않는다.
9. 14:08
   전송 방식과 사용 가능한 도구 로컬 개발용 stdio 대신 streaming HTTP를 사용해 통합했으며, docs to markdown OCR, 엔티티 추출, 캡셔닝, 태깅, 구조화, 요약, 질의응답 같은 도구를 오픈소스로 확장할 수 있다.
10. 16:29
    로컬과 호스팅 설정 옵션 저장소를 복제해 로컬로 클러스터를 띄우거나 API key를 받아 호스팅 클러스터를 쓰는 방식이 모두 가능하며, 장기적으로는 완전한 자체 호스팅도 지원한다.
11. 18:05
    합성 문서로 채운 받은편지함 데모는 inbox 폴더의 합성 문서 집합을 대상으로 진행되며, 이메일·인보이스·NDA 같은 민감한 사례를 흉내 낸 파일로 실제 작업 흐름을 시험한다.
12. 19:02
    NDA 비식별화 NDA 문서를 요청하면 이름·이메일·식별 정보가 마스킹된 버전이 반환되고, 원본은 cloud code가 아니라 VPC 내부에서만 처리되어 외부 노출을 피한다.
13. 20:41
    스캔 문서의 OCR과 비식별화 이미지 기반 스캔 파일을 OCR로 Markdown으로 바꾸면서 동시에 비식별화하면, 토큰 절감과 문맥 개선, 개인정보 보호를 한 번에 달성할 수 있다.
14. 23:01
    추론 인프라 이 접근의 실질적 핵심은 추론 엔진과 클러스터이며, 다중 모델, 모델 핫 스와핑, 더 똑똑한 배칭이 있어야 실전에서 여러 태스크를 안정적으로 처리할 수 있다.
15. 23:46
    워커 풀과 배칭 공유 큐 하나에 의존하기보다 워커별 배치를 두는 방식이 성능에 유리했고, 다양한 GPU와 워커 풀을 분리해 비용과 지연시간을 함께 최적화할 수 있다.
16. 25:35
    모델 핫 스와핑과 작업 묶음 작은 모델은 한 GPU 안에서 빠르게 교체하며 NER, 생성, 임베딩을 돌릴 수 있고, 문서 파싱·이미지 추출·가드레일 같은 작업 묶음으로 확장하기 좋다.
17. 27:00
    성능과 임베딩 워크로드 임베딩 워크로드에서는 MTEB 기준으로 유사한 품질을 유지하면서도 가격을 크게 낮출 수 있었고, 인프라 설계가 좋으면 모델 단위 최적화가 완벽하지 않아도 end-to-end 성능이 좋아진다.
18. 28:40
    작업별 LoRA 독일어 법률처럼 좁은 도메인에는 작업별 LoRA를 빠르게 학습해 배포하는 방식이 유용하며, 생산 환경에서 여러 LoRA를 시험하는 체계가 성능 향상에 도움 된다.
19. 30:50
    인프라 배포 Helm chart, Kubernetes, Terraform apply로 전체 스택을 배포할 수 있어 인프라까지 오픈소스로 재현 가능하며, 이 구조는 문서 처리를 넘어 다른 데이터와 작업에도 확장된다.
20. 32:00
    모델 라우팅의 향후 과제 다음 단계는 작업에 따라 어떤 모델을 쓸지 자체 클라우드 안에서 라우팅하는 것이며, 비용뿐 아니라 GPU에 이미 올라와 있는 '따뜻한' 모델을 고르는 지연시간 최적화도 중요하다.
21. 35:09
    추론과 평가의 절충 reasoning tokens가 있는 모델은 요약 같은 작업을 망칠 수 있어 설정을 조심해야 하고, 라우터나 모델 위원회 같은 구조를 쓰더라도 eval로 먼저 검증하지 않으면 실패하기 쉽다.
22. 37:24
    모델 카탈로그와 워크숍 자료 실무적으로는 지원 파일, troubleshooting, API key 신청, 모델 카탈로그, 빠른 시작 문서가 중요하며, encoding·scoring 같은 모델 타입 차이를 반영해 런타임을 분리해야 한다.
23. 42:07
    에이전트가 원본 파일을 먼저 읽을 수 있는가 현재 구조에서는 에이전트가 원본 전체가 아니라 비식별화된 결과만 보게 설계되어 있으며, 프라이버시 우려가 크면 추가 가드레일이나 자체 harness로 더 강하게 통제할 수 있다.
24. 44:31
    파일 접근과 private cluster 질문 프라이버시 보장은 자체 클러스터와 자체 설정으로 달성할 수 있고, MCP는 파일을 곧바로 메인 워커에 넘겨 처리하지만 전체 인프라는 사용자가 원하는 방식으로 호스팅할 수 있다.
25. 46:26
    마무리 핵심 메시지는 민감한 문서 작업에서 중요한 것은 에이전트 자체보다 그 뒤의 추론 인프라와 배포 가능성이며, 필요하면 무료 크레딧과 자료를 이용해 직접 실험해 보라는 것이다.

실무 인사이트

• 민감한 문서 자동화는 프롬프트만 잘 쓰는 문제가 아니라, 원본을 밖으로 내보내지 않도록 전처리·비식별화 계층을 분리하는 설계가 핵심이다.
• 비용 절감은 모델 선택만으로 끝나지 않고, 워커별 배칭·모델 핫 스와핑·가용 GPU 상태까지 포함한 인프라 설계에서 더 크게 갈린다.
• 에이전트에 기능을 붙일 때는 도구 추가보다 먼저 '어떤 데이터가 어디까지 보이는가'를 명확히 정의해야 프라이버시와 품질을 동시에 확보할 수 있다.