인공지능 기업들이 미국 국방부와 손을 잡으면서 내부 반발이 거세지고 있다. 오픈AI(OpenAI)와 구글(Google) 직원 1,000명에 가까운 인원이 자사 AI 기술의 군사 활용을 거부해달라는 공개 서한에 서명했고, 앤트로픽(Anthropic)은 국방부와의 계약이 파기된 뒤 소송전에 돌입했다. AI 연구자들은 현재의 기술 수준으로는 전장에서 민간인 피해를 막을 수 없다고 경고하고 있으며, 국제 사회는 AI 무기 사용을 규제할 법적 체계 마련에 나서고 있다.

AI 전쟁 투입, 현장에서 무슨 일이 벌어지고 있나

미국과 이스라엘의 이란 공격에서 AI가 공격 목표 선정에 활용됐다는 보도가 나오면서 AI의 군사 활용 논란이 수면 위로 떠올랐다. 전쟁터에서는 매 순간이 생사를 가르기 때문에, AI가 인간보다 빠르게 반응하고 지휘 본부와의 직접 소통 없이도 작전을 수행할 수 있다는 점에서 군사 기술로서의 매력이 크다. 인도의 합동참모의장과 필리핀군 총사령관은 최근 인도의 국제 외교 회의에서 AI와 자동화 시스템이 현대 전쟁의 판도를 바꾸고 있다고 공언했다. 문제는 AI 연구자들이 이에 동의하지 않는다는 점이다. 현재의 최첨단 AI 모델조차 전쟁 상황에서 안정적으로 작동하거나 기존 전쟁법을 준수하면서 운용될 수준에 이르지 못했다는 것이 연구자들의 공통된 견해다.

앤트로픽은 거부하고, 오픈AI는 수용했다

AI 기업들의 대응은 엇갈렸다. 클로드(Claude)를 개발한 앤트로픽은 국방부가 자사 기술을 모든 합법적 목적에 사용할 수 있는 권한을 요구하자, 대량 감시나 인간의 승인 없는 무기 활용에는 동의할 수 없다며 이를 거부했다. 국방부는 이에 앤트로픽과의 계약을 취소하고 공급망 위험 기업으로 지정해 특정 정부 계약 입찰에서 배제했다. 앤트로픽은 현재 소송으로 맞서고 있다. 반면 오픈AI는 국방부의 조건을 수용했다. 이에 반발한 오픈AI 직원 100명 이상과 구글 직원 900명 가까이가 두 회사가 정부의 요구를 거부해야 한다는 공개 서한에 서명했다. 오픈AI의 로보틱스 팀장이었던 케이틀린 칼리노프스키는 "AI가 국가 안보에 기여할 수 있지만, 사법적 감독 없는 감시와 인간의 승인 없는 살상 자율 무기는 더 많은 논의가 필요한 선이었다"고 말하며 회사를 떠났다.

자율 살상 무기, 어디까지 허용될 수 있나

현재 국제법에는 AI의 전쟁 사용을 명시적으로 규제하는 조항이 없다. 다만 국제 인도주의법은 무기가 무차별적으로 사용돼서는 안 되며, 민간인 피해를 최소화하기 위한 조치를 취해야 한다고 규정하고 있다. AI도 이 원칙에서 예외가 될 수 없다. 문제는 AI 모델이 부정확한 결과를 내놓을 수 있고, 어떤 과정으로 판단을 내리는지가 불투명하다는 점이다. 핵무기의 경우 과학자들이 주도해 핵확산금지조약과 핵무기금지조약 같은 국제 협약이 만들어졌고, 화학·생물 무기도 유사한 국제 협약으로 규제된다. AI 역시 이 같은 법적 구속력 있는 국제 협약이 필요하다는 목소리가 높아지고 있다. 재래식 무기 협약 당사국들이 자율 살상 무기 문제를 논의하고 있지만, 중국·이스라엘·미국의 지지 부족과 AI의 자율적 행동 기준에 대한 합의 불발로 진전이 더딘 상황이다.

규제의 시계가 기술 발전 속도를 따라갈 수 있을까

오픈AI, 구글을 비롯한 주요 AI 기업들은 자율 규제 방식으로 윤리 원칙을 내걸어 왔지만, 이번 사태는 그 한계를 명확히 드러냈다. 오픈AI는 2024년 1월 군사·전쟁 목적 활용 금지 조항을 정책에서 삭제했고, 구글도 같은 해 2월 AI의 감시·무기 활용을 막겠다는 약속을 철회했다. 자발적 약속은 언제든 되돌릴 수 있다는 사실이 다시 한번 확인된 셈이다. 유엔은 독립적인 국제 과학 패널을 구성해 AI의 전쟁 활용 실태를 조사하는 첫 번째 보고서 작성에 착수했다. 국방부도 군 관계자, 정부 인사, 주요 AI 연구소 대표들이 참여하는 워킹그룹을 소집할 계획이다. AI 연구자들이 이 자리에서 규제 목소리를 높여야 한다는 것이 과학계의 공통된 요구다. 조약 협상에는 시간이 걸린다. 하지만 AI 개발 속도가 빠르다는 이유로 국제적 규제 논의를 미룬다면, 시작조차 못 한 채 돌이킬 수 없는 상황을 맞이할 수도 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

AI가 전쟁에 사용되면 어떤 문제가 생기나요? 현재 AI 모델은 부정확한 판단을 내릴 수 있고, 어떤 근거로 결론을 도출하는지 파악하기 어렵습니다. 전쟁에서 AI가 자율적으로 공격 목표를 결정할 경우 민간인 피해를 막기 어렵다는 것이 전문가들의 우려입니다.

오픈AI와 구글 직원들은 왜 공개 서한에 서명했나요? 많은 직원들이 입사 당시 자신의 연구가 군사 목적에 쓰이지 않을 것으로 이해했으나, 회사가 국방부와의 계약을 수용하면서 이에 반발해 공개적으로 거부 의사를 밝혔습니다.

AI 무기를 규제하는 국제법이 있나요? 현재 AI를 명시적으로 규제하는 국제법은 없습니다. 국제 인도주의법이 무차별 무기 사용을 금지하고 있어 AI에도 적용될 수 있지만, AI 전용 국제 협약 마련을 위한 논의는 아직 초기 단계입니다.

기사에 인용된 리포트 원문은 네이처(Nature)에서 확인할 수 있다.

리포트명: Stop AI use in war until laws are agreed

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.