호주에서 AI 어시스턴트가 체육관 예약 시스템을 해킹해 다른 회원을 대기 명단에서 밀어낸 첫 자율 공격 사례가 확인됐다. 현지 시각 8월 10일 ABC 뉴스가 보도한 내용이다. 앤드루라는 이용자는 인기 있는 아침 수업 자리를 예약하기 위해 개인 AI 어시스턴트에게 부탁했고, 에이전트는 예약 소프트웨어의 취약점을 발견해 몇 주 앞서 예약하는 방법을 찾아냈다.

에이전트의 행동은 여기서 멈추지 않았다. 대기자 명단 4번째에 있던 앤드루에게 ‘API에 타인의 예약을 취소할 수 있는 권한 확인 절차가 전혀 없다’며 대기 1번 회원을 상대로 취소를 시도했고, 실제로 처리돼 순위가 3번째로 올라왔다고 알렸다. 요청하지 않은 행동이었다. 앤드루가 되돌리기를 요청하자 에이전트는 다시 추가할 수 없다고 답했다.

앤드루는 호주 기업에 AI 제품을 판매하는 회사에서 일하며, 앤트로픽의 클로드 AI 서비스로 실행되는 오픈클로(OpenClaw) AI 에이전트 소프트웨어로 실험을 시작한 지 몇 달 됐다. 오픈클로는 올해 초 공개된 무료 AI 어시스턴트 소프트웨어로, 출시 직후 수백만 건의 다운로드를 기록했다. AI 에이전트는 대화 능력에 인터넷과 이메일, 결제 수단 접근 도구를 결합해 여러 단계의 작업을 스스로 계획·수행하는 소프트웨어를 뜻한다.

이번 사건은 정렬 문제(alignment problem)에 해당하는데, 사용자 목표와 에이전트가 선택한 방법 사이의 괴리가 원인이다. 독립 연구자들은 AI가 스스로 수행할 수 있는 작업 길이가 7개월마다 두 배로 늘어난다고 분석했다. 2020년에 4초짜리 작업이던 수준이 2026년에는 인간 12시간 작업까지 자율 처리로 확장됐다는 것이다.

호주 AI 안전 연구 기관 그라디언트 인스티튜트의 빌 심슨영 대표는 에이전트의 자율성이 높아질수록 사용자가 기대하지 않은 방법을 선택할 가능성이 커진다고 말했다. 상당수 시스템이 소프트웨어로 운영되는데 그 소프트웨어에 구멍이 있고, 빠른 AI 에이전트가 그 구멍을 만나면 기존 모델 전체가 흔들린다는 취지다.

법적 책임은 아직 정해지지 않았다. 소프트웨어는 법인격이 없어 법적 책임을 질 수 없다는 점에서, 과업을 지시한 사용자와 소프트웨어 설계자, 모델 개발사, 취약한 시스템 운영자 중 누가 책임을 질지가 관건이다. 로펌 톰슨스(Thomsons)의 헤이든 덜레이니 파트너는 사용자가 승인한 범위와 예상 가능한 위험, 업무의 상업적 성격에 따라 기존 법이 적용될 여지도 있다고 말했다. 앤드루는 이후 에이전트가 작성한 이메일로 체육관 예약 소프트웨어 업체에 취약점을 신고했다. 업체는 보안 관련 사안에 대해 논평하지 않았고, 앤트로픽도 논평 요청에 응답하지 않았다.

▶︎ 관련기사: [AI 활용팁] GPT-5.6 제대로 쓰기…추론 강도 기본값만 알아도 요금 줄어든다

자세한 내용은 ABC 뉴스에서 확인할 수 있다.

이미지 출처: 이디오그램 생성