Guardians of the State: An Air-Gapped AI Fortress for Consumer Data — Rachna Srivastava, DFPI

한 줄 핵심

생성형 AI 시대에는 증거로 제출될 수 있는 시스템을 클라우드 중심이 아니라 오프라인·하드웨어·데이터 파이프라인까지 포함한 물리적으로 방어 가능한 구조로 설계해야 한다.

시간별 요약

1. 0:00
   보는 것과 듣는 것이 더 이상 증거가 아니게 된 순간 생성형 AI는 얼굴·목소리·서명을 손쉽게 위조해 디지털 신뢰의 전제를 무너뜨렸고, 그 결과 사기 대응과 금융 신원 보호의 속도와 난도가 동시에 급격히 올라갔다.
2. 2:32
   데모가 아니라 법정을 위해 구축하기 법정에서는 시스템이 설명 가능하고, 재현 가능하고, 감사 가능해야 하므로, 실제 증거를 다루는 시스템은 보여주기 좋은 데모보다 공격을 견디는 입증 가능한 구조를 우선해야 한다.
3. 3:44
   암호화와 프라이빗 엔드포인트만으로는 충분하지 않은 이유 암호화된 데이터도 모델 추론 시 평문으로 복호화되면 prompt injection에 노출되고, 프라이빗 엔드포인트도 클라우드 사업자가 디스크를 보유하는 한 Cloud Act 같은 법적 접근 위험을 완전히 없애지 못한다.
4. 6:08
   종이 위의 인증 FedRAMP와 SOC 2 같은 인증은 안전성의 충분조건이 아니며, 실제로는 오프라인 격리 환경을 구축하지 않으면 법정 증거로 버틸 수 있는 보안성을 확보하기 어렵다.
5. 7:22
   첫 번째 구축과 2시간 만의 붕괴 오픈소스 모델과 가드레일만으로는 실시간 범죄 데이터를 감당하지 못해 시스템이 2시간 만에 무너졌고, 이는 모델을 마법 상자가 아니라 데이터 파이프라인의 한 구성 요소로 봐야 한다는 교훈으로 이어졌다.
6. 8:29
   Kafka가 처리한 급증, 순서, 재생 Kafka는 유입 폭주를 완충하고 사건의 순서를 보존하며, 결정 시점까지 되돌려 재생할 수 있게 해 법정에서 필요한 재현성을 제공했다. 또한 Spark로 원본의 잡다한 형식을 정제한 뒤 모델에 넣자 추론 품질이 크게 좋아졌다.
7. 10:56
   AI 가면을 쓴 데이터 엔지니어링 문제 많은 AI 품질 문제는 사실 데이터 엔지니어링 문제이며, 입력 정제·구조화·처리 파이프라인을 바로잡아야 모델 환각과 오판을 줄일 수 있다.
8. 12:01
   서버 랙에 고정된 키 민감정보는 SHA-256과 HSM이 결합된 cryptographic vault로 해시화하고, 그 키를 서버 랙에 물리적으로 고정해 소프트웨어보다 하드웨어를 신뢰하는 방식으로 유출 위험을 낮췄다.
9. 13:13
   모든 일을 하는 단 하나의 frontier model 하나의 최첨단 모델이 요약, 개체 추출, fraud ring 탐지까지 모두 맡기에는 비효율적이어서, 실제로는 작업별 난이도와 필요 자원을 구분해 라우팅해야 한다.
10. 14:23
    작은 모델로 80%의 일을 보내기 semantic router로 요청을 가장 작은 적합 모델에 보내자 80% 이상의 작업을 저비용 모델이 처리할 수 있었고, GPU를 추가하지 않아도 처리량은 3배 늘고 요청당 비용은 약 70% 줄었다.
11. 15:38
    구멍을 열지 않고 학습하기 시스템이 외부 위협을 학습하려면 쓰기 경로를 열지 않아야 하므로, 설정 오류 위험이 있는 방화벽 대신 one-way data diode로 인터넷에서 내부로만 데이터가 흐르게 설계했다.
12. 16:53
    반으로 잘린 케이블 데이터 다이오드는 입력을 quarantine zone에서 먼저 검증한 뒤 production layer로 넘기고, 그 결과를 Apache Iceberg에 immutable하게 저장해 나중에 법정에서 특정 시점의 상태를 그대로 재현할 수 있게 한다.
13. 18:05
    결정의 순간으로 시간 이동하기 Apache Iceberg의 time travel 기능으로 결정이 내려진 시점의 시스템 상태를 복원해 증거로 제시할 수 있으며, 사용자 인증은 다중 인증을 거친 뒤 브라우저 단계에서만 최종적으로 데이터가 열리도록 설계된다.
14. 20:27
    신뢰는 물리적 속성이다 신뢰는 정책 문서가 아니라 하드웨어·물리·아키텍처에 처음부터 내장해야 하는 속성이며, 오래 기억되는 것은 모델 성능이 아니라 위기 상황에서 끝까지 믿을 수 있는 시스템이다.

실무 인사이트

• 고위험 데이터 시스템은 모델 성능보다 재현성·감사 가능성·증거 보존을 먼저 설계해야 한다.
• AI 실패의 상당수는 모델 문제가 아니라 입력 정제, 이벤트 순서, 배치/스트리밍 분리 같은 데이터 파이프라인 문제로 해결된다.
• 민감정보를 다루는 환경에서는 소프트웨어 보안만으로 부족하며, 데이터 다이오드·HSM·immutable 저장소처럼 물리적 통제까지 포함해야 한다.