[IT동아 남시현 기자] 미국 전쟁부(국방부)가 인공지능 기업 앤스로픽(Anthropic)을 공급망 위험 기업으로 공식 지정했다. 미국 정부의 공급망 위험 기업은 미국의 국가안보, 경제적 번영 혹은 공공의 안정에 위협이 될 수 있는 기술을 다루는 기업을 대상으로 지정한다. 지난해 이란의 드론 및 미사일 개발에 부품을 공급한 중국, 튀르키예, UAE의 26개 기업이 이에 지정됐고, FCC(미연방통신위원회)도 모든 외국산 드론 및 핵심 부품 관련 기업을 커버드 리스트’로 만들어 미국 내 제품 판매 및 정부 이용을 제한했다.

공급망 위험 기업은 주로 미국 정부가 적국의 민간 기업을 통제하기 위한 수단으로 사용된다. 미국 기업이면서 방위산업이 아닌 AI 기업인 앤스로픽이 공급망 위험 기업으로 지정된 것은 대단히 이례적인 상황이다. 이번 사태는 전쟁부와 앤스로픽의 문제를 넘어서 실리콘밸리 내 AI 개발 기업 전체의 문제로 확산 중이며, 더 나아가 AI로 개인의 자유를 침해하거나 전쟁 계획을 수립하는 것을 허용해야 하는가의 윤리적인 문제로 번지고 있다.

앤스로픽, AI의 군사화 반대해 공급망 위험 기업으로 지정

사건의 발단은 지난해 7월 미국 전쟁부 산하 최고 디지털 및 인공지능국(CDAO)과 앤스로픽, 구글, 오픈AI, xAI와 맺은 지원 계약으로부터 시작한다. 미국 전쟁부는 미군의 전략적 우위를 위한 AI 에이전트를 개발하기 위해 4개 기업에 각각 2억 달러(약 2944억 원)를 지원하고 AI를 활용하기로 했다. 이때 앤스로픽은 책임감 있는 AI 원칙에 따라 ▲ 완전 자율 살상 무기 체계에 AI 활용 금지 ▲미국 국민에 대한 대규모 국민 감시에 활용 금지를 원칙으로 명시했다.

하지만 피트 헤그세스 전쟁부 장관은 군이 모든 합법적인 목적에 무제한으로 사용할 수 있어야 한다며 2월 27일까지 조항 삭제를 요구했고, 다리오 아모데이 앤스로픽 CEO는 AI 윤리와 안전 원칙을 이유로 수정을 거부했다. 결국 지난 3월 5일 앤스로픽이 국가 공급망 위험 기업으로 지정됐고 모든 연방기관에 앤스로픽 기술에 대한 사용 중단 명령이 내려졌다.

질문·지식의 보고 ‘LLM’은 대체 어떻게 군사 무기로 쓰이게 됐나?

민간 영역에서 LLM은 간단한 질의응답을 주고받고 원하는 이미지를 만드는 것부터 복잡한 수학·과학 문제를 풀이하고 더 나아가 인간의 작업을 자동화하고 대체하는 식으로 사용된다. 미국 정부 부처에서도 비슷한 방식으로 AI 전환이 진행되고 있지만 유독 전쟁부에서 윤리적인 사용과 관련한 문제가 불거지고 있다.

2023년 8월, 당시 미국 국방부는 국방부 전반에 걸친 대규모 언어모델 개발 및 평가, 권고 모델을 담당하는 태스크포스 리마를 설립했다. 태스크포스는 AI 적용을 위해 다양한 실험과 반복이 필요하지만, 기능과 한계점이 빠르게 변하고 있으므로 위험성을 이해하고 활용하는 것을 권고했다. CDAO는 2024년 12월 태스크포스 리마를 해체하고 결과 보고서를 바탕으로 전쟁 수행, 기업경영 두 가지 측면에 대한 시범 사업을 구성하고 나선다.

이중 기업 경영은 재무시스템, 인사관리, 기업 물류 및 공급망 관리, 의료 정보 관리, 법률 분석 및 규정 준수, 조달 프로세스, 소프트웨어 개발 및 사이버 보안 등 민간 영역에서의 AI 활용과 비슷하다. 그러나 전쟁 수행은 지휘통제 및 의사결정, 작전 계획, 병참, 무기개발 및 시험, 무인 및 자율시스템, 정보 활동, 정보 작전 및 사이버 작전 등 일반적으로 접하기 어려운 분야를 다룬다. 이번에 윤리적 논란을 일으킨 부분은 정보활동이며 향후 무인 및 무기 개발 측면도 문제의 불씨가 지펴진 상황이다.

미군, 프로젝트 메이븐으로 현대전을 ‘알고리즘 전쟁’으로 바꾸는 중

미군에서 가장 폭넓게 쓰이는 AI는 팔란티어 기술이다. 팔란티어의 고담(Gotham)은 위성사진, 드론 및 위성 영상, 감청 기록, 인간 첩보 등의 서로 다른 데이터를 실시간으로 통합하고, 이를 기반으로 적군 위치를 추정하고 공격 시 어떤 무기 체계가 가장 효율적인지 제안한다. 팔란티어 AIP는 대형언어모델과 도입 기관의 데이터를 연결한 뒤 개발자가 직접 작업 흐름을 설계해 최적의 해결책을 제안하는 서비스다. 이때 앤스로픽 클로드나 오픈AI GPT 같은 LLM이 AIP와 결합해 분석 기능을 제공한다. 미국 국방부는 팔란티어 AIP를 바탕으로 ‘프로젝트 메이븐’을 추진 중이다.

프로젝트 메이븐은 미국 전쟁부가 인공지능 기술을 실제 전장에 도입하기 위해 진행하는 가장 중요한 프로젝트다. 정식 명칭은 ‘알고리즘 전쟁 교차 기능 팀’이다. 프로젝트 메이븐은 2017년 미국 국방부 드론이 수집하는 영상 데이터가 폭발적으로 증가함에 따라 이를 AI로 자동 식별하게 하는 것을 목표로 시작했다. 이를 통해 미군 내 비정형 데이터를 AI 학습용 데이터로 전환하고, 특정 기업에 종속되지 않고 여러 AI 모델을 미군 시스템과 연결해서 쓰는 목표가 수립됐다.

미국 국방부가 자체 구축이 아닌 외부 기업의 AI를 조달하는 사실이 밝혀지며 구글은 2018년 내부 직원들의 반발로 AI 원칙을 발표한 뒤 프로젝트 메이븐에서 이탈한다. 그 자리를 팔란티어, 안두릴, 아마존이 메웠다. 팔란티어는 현재 미국 전쟁부 AI 도입의 총대를 잡고 프로젝트 메이븐과 초연결 전장 네트워크 CJADC2(Combined Joint All-Domain Command and Control)를 연결해 실행 가능한 작전까지 제공하는 AI 체계를 구축 중이다.

CJADC2는 미국 육·해·공·우주·사이버 등 모든 영역의 센서와 군사적 자산을 하나의 네트워크로 묶는 전군 통합 지휘 통제 체계다. 전 세계 동원 가능한 모든 미군의 자원을 초연결한 체계다. CJADC2로 초연결된 군사 장비들이 데이터를 수집하고, 프로젝트 메이븐과 연결된 LLM이 이를 분석하고 식별한 뒤 최적의 작전을 만들어 CJADC2와 연결된 자산에 작전을 전달하는 식이다. 과거에는 사진 분석부터 포병 타격까지 수 시간이 걸렸지만, 최근에는 실시간으로 타격이 가능한 수준이 됐다.

LLM은 구체적인 데이터 분석과 작전 수립에 쓰인다. 프로젝트 메이븐에 활용되는 AIP에 클로드나 GPT가 연결돼 있고, 전쟁부 기밀 네트워크와 연결된 LLM이 데이터를 분석한다. 수만 페이지에 달하는 감청 자료와 위성 분석 보고서, 현장 첩보를 클로드에게 입력하고 ‘지난 48시간 동안 적군의 보급로에서 발견된 특이사항을 분석해’ 라든가 ‘실제 작전을 투입할 때 적들의 주요 거점이나 가장 최적의 타격 방법을 제안해줘”같은 식으로 활용된다. 민간에서는 ‘오늘 작업 취합해 줘’ 같은 작업을 수행하는 LLM이 프로젝트 메이븐 내에서는 타격 작전을 생성에 쓰인다.

성명 발표한 앤스로픽, 모종의 합의 이룰 수 있을까?

앤스로픽이 공급망 위험 기업으로 지정되자 다리오 아모데이 앤스로픽 CEO는 성명을 발표했다. 우선 앤스로픽은 미국 전쟁부의 작전 결정에 관여하는 것은 본인들의 역할이 아니며, 완전 자율 무기와 대규모 국내 감시에 대한 것만 반대한다는 뜻을 분명히 했다. 분석하자면 LLM 자체를 활용해 군사작전을 수립하는 것을 지적하는 게 아니라 방아쇠까지 당기는 전자동 자율 무기 시스템에 클로드를 판단 용도로 탑재하고 국내 데이터를 분석해 미국 내 민간인을 사찰하는 식의 활용만 거부하겠다는 것이다. 다만 미 전쟁부 요구대로 해당 조항이 사라지면 향후 어떤 결론에 이를지는 알 수 없다.

그러면서 “앤스로픽은 국방부와 국가안보기관에 필요한 기간 동안, 그리고 허가가 나는 한 최소한의 비용으로 엔지니어를 지속적으로 지원할 것”이라면서 “우리와 국방부는 미국 국가안보를 강화하고 미국 국민을 보호하는데 전념하며, 미국 정부 전반에 걸쳐 AI를 적용해야 하는 시급성에 의견이 일치한다”고 덧붙였다.

오픈AI 역시 지난주 성명을 발표하고 ▲ 오픈AI 기술을 대규모 국내 감시에 사용하지 말 것 ▲ 자율 무기 시스템 제어에 사용하지 말 것 ▲ 사회 신용 시스템 등 위험도가 높은 자동화된 의사 결정에 사용하지 말 것을 강조했다. 앤스로픽의 합의와 크게 다르지 않지만 앤스로픽은 공급망 위험 기업으로 지정되고 오픈AI는 합의에 이른 배경은 오픈AI의 계약이 로봇이나 군사 장비 등 말단 장치에서의 활용을 제하고 서버에서만 이용하기로 제한된 것이 영향을 미친 것으로 본다.

LLM의 무기화는 현재 진행형이며 미국 전쟁부는 국가 안보를 위해 향후 자율 무기 시스템에까지 이를 탑재할 의사가 분명하다. 프로젝트 메이븐으로 적군을 식별하고, 현장에 있는 자동 로봇이 온디바이스 AI로 적군을 분석한 뒤 사살 명령까지 완수하는 체계를 만들고자 하는 것이다. 미국 전쟁부와 AI 업계의 첨예한 대립은 우리나라 입장에서도 유심히 지켜봐야 할 대목이며, 더 나아가 AI 업계 전반의 윤리성 원칙의 결론과도 맞닿아있다. 이번 사태가 가능한 온건한 미래 사회를 이루는 결론으로 이어지기를 희망한다.

IT동아 남시현 기자 (sh@itdonga.com)