Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley

한 줄 핵심

Loophole는 사용자의 도덕 원칙을 법 체계로 바꾼 뒤 적대적 에이전트들이 모순과 과잉 금지를 찾아내는 게임이자, 챗봇 정책·계약·의회 시뮬레이션으로 확장 가능한 실험 도구다.

시간별 요약

1. 0:00
   적대적 에이전트로 만든 게임 Loophole은 사용자가 입력한 도덕 원칙을 바탕으로 하나의 에이전트가 법 체계를 만들고, 다른 두 에이전트가 그 안의 모순을 찾아내는 오픈소스 게임이다. 핵심은 재미있는 놀이 형태로 도덕을 스트레스 테스트할 수 있게 만든 점이다.
2. 1:03
   시작점이 된 DNA 질문 23andMe에 보낸 DNA가 범죄 수사나 콜드 케이스에 쓰일 수 있다는 생각에서, 어떤 상황은 허용하고 어떤 상황은 거부하는지 세밀하게 판단해야 한다는 문제의식이 생겼다. 하지만 사례별로 일일이 판단하는 것은 인지적으로 너무 비효율적이라, 더 일반적인 틀이 필요하다는 결론으로 이어진다.
3. 2:44
   도덕, 법, 그리고 번역의 문제 법은 사회의 도덕을 번역한 체계이지만, 그 번역은 항상 미묘한 경계와 예외를 놓치기 쉽다. 그래서 영미법의 case law처럼 사례를 통해 해석하는 방식이 중요하며, LLM은 이런 고수준 도덕 추론과 합성 사례 생성을 자동화할 가능성이 있다.
4. 4:33
   루프의 작동 방식: loophole, overreach, judge 입력된 도덕 원칙을 legal language로 정리한 뒤, 한 에이전트는 법의 허점을 찾아 immoral but legal한 사례를 만들고 다른 에이전트는 overreach, 즉 moral but illegal한 사례를 찾는다. 마지막 judge 에이전트가 자동 수정 가능한지 먼저 검토하고, 불일치가 크면 사용자에게 판단을 넘긴다.
5. 7:15
   판사가 자동 수정하지 못한 과잉 금지 DNA 연구 과정에서 희귀하지만 치료 가능한 질환이 드러났을 때 이를 본인에게 알려도 되는지 같은 사례는 시스템이 자동으로 정리하지 못하고 사용자 판단이 필요해진다. 이 지점은 단순한 규칙 생성보다 도덕 원칙의 경계 설정이 더 어렵다는 점을 보여준다.
6. 8:05
   챗봇을 위한 헌법 만들기 이 접근은 고객 응대용 chatbot이나 agent의 system prompt를 도덕 원칙에 맞게 자동 구성하는 방식으로 확장될 수 있다. 무엇을 말하고 무엇을 말하지 않아야 하는지에 대한 규칙을 만들고, 적대적 에이전트가 이를 깨려 시도하면서 정책을 단단하게 만든다.
7. 9:47
   탈중앙 계약으로의 확장 개인 데이터나 privacy, 작업 대가 같은 조건을 각자 도덕 규칙으로 정리한 뒤 서로의 계약을 대조하면, Apple의 terms of service 같은 문서와의 충돌도 더 명확히 볼 수 있다. 중앙 권위가 없는 상황에서도 양쪽의 기대치를 미리 스트레스 테스트해 계약 불일치를 줄일 수 있다.
8. 12:22
   미국 상원 시뮬레이션 공개된 투표 기록과 정보를 바탕으로 현재 US senators 각자의 도덕 체계를 만들고, 이를 통해 법안을 제출했을 때 어떻게 표결할지 시뮬레이션한다. 이 방식은 법안이 어떤 쟁점에서 갈리는지 보여줄 뿐 아니라, 의회를 하나의 검증 가능한 시스템으로 다루게 한다.
9. 14:04
   법안의 통과 가능성을 향한 hill climbing 법안의 핵심 취지는 유지하면서 각 senator의 규칙과 충돌하지 않도록 문구를 조금씩 바꾸면, 50:50 수준의 법안을 52표로 통과시키는 식의 최적화가 가능하다. 즉, 변경 우선순위를 정해 표를 최대화하면서도 본래 취지를 크게 훼손하지 않는 조정이 핵심이다.
10. 14:55
    주별 500명 페르소나로 확장 Nvidia의 USA personas 데이터셋을 이용해 주마다 500명의 페르소나를 만들고, 각자의 도덕과 법 체계를 학습시켜 법안에 대한 합의 정도를 측정한다. 이 확장은 단순한 게임을 넘어, 지역 구성원에게 더 잘 맞는 법안 설계와 대표성 평가로 이어질 수 있다.

실무 인사이트

• 도덕이나 정책을 한 번에 완벽한 규칙으로 쓰려 하기보다, 적대적 사례를 반복 생성해 경계 조건을 드러내는 방식이 더 실용적이다.
• 이 구조는 챗봇 정책, 계약 검토, 법안 시뮬레이션처럼 '규칙을 말로 쓰지만 예외가 많은' 업무에 바로 적용하기 좋다.
• 자동 수정과 사용자 판단을 분리하면, AI가 처리할 수 있는 부분과 사람이 최종 결정해야 하는 부분을 명확히 나눌 수 있다.