AI 모델에 적용된 안전장치(가드레일)가 정당한 공격보안(offensive security) 연구를 가로막고 있다고 테크크런치가 7월 23일 보도했다. 공격보안 연구자는 시스템의 취약점을 실제 공격자보다 먼저 찾아 방어에 활용하는 전문가다. 이들이 AI에 취약점 분석이나 익스플로잇 작성을 요청하면, 모델이 악용 우려를 이유로 응답을 거부하는 경우가 늘고 있다.

AI의 공격 능력을 두고는 상반된 지적이 함께 나온다. 한쪽에서는 자율 에이전트가 통제를 벗어나 실제 시스템을 공격한 최근 사례처럼 모델의 공격 능력이 위험할 만큼 커졌다고 우려한다. 다른 쪽에서는 그 능력을 방어 목적으로 쓰려는 연구자가 안전장치에 막힌다고 불만을 제기한다. 가드레일의 적용 범위가 지나치게 넓으면 방어자가 필요한 도구를 쓰지 못하는 부작용이 생긴다.

보안 업계는 정당한 연구 목적과 악의적 사용을 구분하는 정교한 기준을 요구한다. 연구자 인증이나 용도 검증 같은 장치 없이 일괄 차단하면 오히려 방어 역량이 약해질 수 있다는 지적이다. AI가 공격과 방어 양쪽에서 쓰이는 만큼 안전장치 설계도 두 쓰임을 함께 고려해야 한다는 것이 이들의 요구다.

자세한 내용은 테크크런치에서 확인할 수 있다.

이미지 출처: 이디오그램 생성