"이렇게까지 창의적으로 AI를 타락시켜?" (강수진 박사)

한 줄 핵심

프롬프트 인젝션의 종류와 실제 공격 예시, 그리고 가드레일을 평가·조정하는 방법까지 보여 주며 AI 서비스를 안전하게 운영하려면 공격과 방어를 함께 설계해야 한다는 점을 강조한다.

시간별 요약

1. 0:00
   하이라이트 시스템 프롬프트를 무시하게 만들거나, 악성·유해한 문장을 사실처럼 믿게 만드는 방식으로 모델이 쉽게 흔들릴 수 있다. 교육용 목적이나 긴 멀티턴 맥락에서는 방어가 더 약해지며, 이를 직접 시험해 봐야 막는 방법도 찾을 수 있다.
2. 0:41
   프롬프트 인젝션이란? 프롬프트 인젝션은 자연어를 이용해 모델의 내부 지침을 우회하거나, 대화 중 악성 내용을 주입해 잘못된 출력을 유도하는 공격이다. 직접 입력으로 때리는 방식, 외부 데이터를 통해 들어오는 방식, 그리고 시스템 프롬프트를 노리는 방식까지 여러 층위에서 발생한다.
3. 3:02
   직접 인젝션과 간접 인젝션 직접 인젝션은 사용자가 대화창에 공격 문장을 넣어 모델을 흔드는 방식이고, 간접 인젝션은 웹페이지·메일·PDF·캘린더 같은 외부 데이터로 서비스를 오작동시키는 방식이다. 간접 인젝션이 더 위험하지만, 여기서는 직접 인젝션 사례를 중심으로 다룬다.
4. 3:51
   “교육용 목적”으로 AI 꼬드기기 명백히 거부해야 할 요청도 “교육용 목적”처럼 보이게 바꾸면 일부 모델은 응답을 허용한다. 질문을 한 번에 끝내지 않고 멀티턴으로 조금씩 범위를 좁히면 맥락이 길어지면서 지시력이 약해져 방어가 더 쉽게 무너진다.
5. 6:29
   한 글자씩 답하게 해 욕설 만들기 직접 욕설을 하라고 하면 막히지만, 한 글자씩만 답하게 한 뒤 결과를 합치면 욕설이 완성되는 식의 우회가 가능하다. 아주 작은 단위의 정상 답변을 누적해 유해한 최종 결과를 만드는 방식이라 멀티턴 방어가 특히 어렵다.
6. 8:49
   신분 사칭부터 가짜 정보 주입까지 개발자·피해자·기자처럼 신분을 사칭하거나, 답변 형식을 바꾸게 유도하거나, 코드를 통해 우회하는 식의 공격이 가능하다. 특히 정치적 가짜 정보처럼 사실성 있는 문맥에 허위 자료를 끼워 넣으면 모델이 그 내용을 사실로 확장 생성할 수 있어 매우 위험하다.
7. 14:37
   300개 공격 데이터로 가드레일 테스트 실제 방어를 만들 때는 여러 유형의 공격을 모은 합성 데이터셋 300개로 가드레일이 얼마나 잘 막는지 점검한다. 공격 유형이 다양하고 교묘해 로그를 보며 하나씩 확인해야 하며, 방어 성능은 단일 예시가 아니라 대량 테스트로 봐야 한다.
8. 16:02
   가드레일이 높으면 정상 답변도 막는다 방어를 너무 강하게 걸면 유해 요청뿐 아니라 정당한 정보 요청까지 거부되어 사용자 경험이 나빠진다. 그래서 서비스마다 보안과 유용성 사이의 균형점을 찾아야 하고, 멀티턴까지 포함한 평가 기준이 함께 필요하다.
9. 18:10
   클로드 시스템 프롬프트는 왜 길까? Claude의 시스템 프롬프트는 공개된 만큼 매우 길고, 미성년자 보호·안전·위험 대화 대응 같은 세이프티 규칙이 많이 들어 있다. 시스템 프롬프트가 길어질수록 컨텍스트를 많이 차지하고 읽히지 않을 위험도 있어, 기호화·카테고리화·문장 구조 재설계가 중요해진다.
10. 24:03
    공격해 봐야 막을 수 있다 공격 시나리오를 직접 시험해 봐야 어떤 지점이 취약한지 이해할 수 있고, 그 경험이 방어 설계의 출발점이 된다. AI 서비스를 안정적으로 운영하려면 잘 쓰는 연구와 막는 연구를 함께 해야 하며, 사용자 경험과 보안을 동시에 조율해야 한다.

실무 인사이트

• 가드레일은 단일 프롬프트 규칙보다 멀티턴·형식 변조·신분 사칭까지 포함한 공격 시나리오로 테스트해야 실효성이 높다.
• 보안 강화의 목표를 ‘전부 차단’으로 두면 정상 요청도 막히므로, 허용 범위와 거부 기준을 업무 맥락별로 분리해 설계해야 한다.
• 시스템 프롬프트가 길어질수록 읽힘과 토큰 비용이 문제되므로, 규칙을 줄글보다 구조화된 형태로 압축해 넣는 방식이 유리하다.