Teaching AI to Find Real Vulnerabilities — Prof. David Brumley, Bugcrowd

한 줄 핵심

사이버보안용 강화학습 환경은 단순히 ‘버그를 찾는가’가 아니라, 여러 취약점을 정확히 구분해 점수화하고 점점 더 어려운 공격 능력을 학습시키는 구조로 설계해야 하며, 그래야 모델이 실제로 고가치 표적까지 올라갈 수 있다.

시간별 요약

1. 0:12
   사이버보안 작업을 강화학습으로 다루려면, 프로그램을 인간처럼 단계적으로 배우는 방식과 같은 ‘난이도 상승형 과제’가 필요하다. 취약점 탐지와 익스플로잇은 하나의 연속된 사다리이며, 모델이 어디까지 올라왔는지를 측정할 수 있어야 한다.
2. 7:01
   기본 환경은 취약한 애플리케이션, 재현 가능한 container 환경, 그리고 결정론적 grading oracle로 구성된다. 특히 LLM as a judge는 사이버보안에서는 신뢰하기 어렵고, setup·read·write·grade 같은 도구 호출을 MCP로 제공해 정답 여부를 기계적으로 판정해야 한다.
3. 10:00
   기존 벤치마크의 핵심 문제는 ‘프로그램에 취약점이 하나만 있다’는 가정이다. 실제 오픈소스와 실전 환경에는 여러 취약점이 섞여 있고, 모델은 가장 쉬운 버그만 반복적으로 찾아 reward hacking을 하므로 학습이 금방 정체된다.
4. 13:00
   이를 해결하기 위해 ‘audit task’는 한 개의 버그를 찾는 대신 발견한 모든 취약점을 제출하게 만든다. 취약점별 proof of vulnerability를 중복 제거하고, 알려진 취약점과 알려지지 않은 취약점을 함께 precision과 recall로 점수화하면, 새로운 버그 발견을 장려하면서도 아무것도 아닌 결과의 남발을 막을 수 있다.
5. 18:00
   진짜 실력 차이는 crash 여부가 아니라 out-of-sandbox exploit, arbitrary read/write, arbitrary code execution 같은 상위 단계에서 드러난다. Chrome의 V8을 대상으로 한 실험에서는 단순 충돌 유발은 모델 간 차이가 작았지만, 완전한 sandbox escape로 올라가면 강한 모델만 유의미하게 성공해 실제 고가치 표적에서의 격차가 확인됐다.
6. 25:00
   실용적인 결론은, 사이버보안용 RL은 ‘정확한 oracle 설계’와 ‘모델이 모르는 zero day까지 포함한 환경 구축’이 핵심이라는 점이다. 오픈소스 기반으로 대규모 환경을 생성하되, 실제로는 전문가가 취약점의 재현성과 구분 가능성을 검증해야 모델이 진짜로 성장한다.

실무 인사이트

• 평가 기준을 ‘크래시 발생’에서 ‘취약점 개수·유형별 재현’으로 바꾸면 reward hacking을 줄이고 모델의 실제 공격 역량을 더 잘 측정할 수 있다.
• 사이버보안 에이전트를 만들 때는 LLM 판단에 기대기보다, backtrace·크래시 재현·중복 제거가 가능한 결정론적 grader를 먼저 설계해야 한다.
• 실전형 벤치마크를 만들려면 알려진 버그만 모으는 대신, 전문가 검증이 된 신규 취약점을 포함해 모델이 단순 암기인지 실제 추론인지 분리할 수 있어야 한다.