AWS 가 공개한 Deception Benchmark 는 AI 모델이 실제 취약점과 위험해 보이지만 안전한 코드를 구별할 수 있는 능력을 평가합니다. 이 벤치마크의 14,822 개 샘플을 대상으로 한 테스트 결과 AWS 가 검증한 12 가지 모델 모두 최소 기준인 오류율 10% 미만은 충족하지 못했습니다. 직접 프롬프트를 사용할 때 약 41~99% 의 안전한 코드를 위험하다고 잘못 판단하는 높은 위양성률을 기록했으며, 이는 모델이 외부 보안 제어와 함께 작동하는 코드 이해에 어려움을 겪고 있음을 보여줍니다.
원문 보기 →