Fully Autonomous AI Agents Should Not be Developed

자율성 확대되는 AI 에이전트...2024년 말 급격히 증가

허깅페이스(Hugging Face)의 연구진들이 발표한 논문에 따르면, 대규모 언어모델(LLM)의 벤치마크 정확도가 급격히 향상되면서 2024년 말부터 자율적이고 목표 지향적인 시스템인 'AI 에이전트'가 차세대 AI 기술로 부상하고 있다. 현재 많은 AI 에이전트들은 LLM을 더 큰 다기능 시스템에 통합하여 구축되고 있다. 실제 사례로는 회의 조직, 개인화된 소셜 미디어 게시물 생성, 자율 주행, 의료 서비스, 제조업 등 다양한 분야에서 활용되고 있다.

AI 에이전트의 정의와 특성...비결정적 환경에서 맥락 특화 계획 수립

연구진은 AI 에이전트를 "비결정적 환경에서 맥락 특화된 계획을 수립할 수 있는 컴퓨터 소프트웨어 시스템"으로 정의했다. 최근 도입된 AI 에이전트들의 공통점은 일정 수준의 자율성을 가진다는 것이다. 목표가 주어지면 이를 하위 작업으로 분해하고 각각을 직접적인 인간의 개입 없이 실행할 수 있다.

예를 들어, 이상적인 AI 에이전트는 "AI 에이전트에 관한 훌륭한 ICML 논문 작성을 도와줘"라는 상위 수준의 요청을 받았을 때, 이를 자동으로 하위 작업으로 나눌 수 있다. 여기에는 인용도가 높은 ICML 논문 검색, 인터넷에서 AI 에이전트 관련 정보 수집, 그리고 수집된 내용을 바탕으로 한 개요 작성 등이 포함된다. 이러한 AI 에이전트들은 대부분 ML 모델, 특히 LLM을 기반으로 구축되어 있어 기존의 컴퓨터 소프트웨어 실행 방식과는 다른 새로운 접근 방식을 보여준다.

5단계로 구분되는 AI 에이전트의 자율성...완전 자율 단계 위험

연구진은 AI 에이전트의 자율성 수준을 세분화하여 분석했다. 가장 기본적인 단계인 단순 프로세서는 LLM 출력을 단순히 출력하는 수준에 머무른다. 그 다음 단계인 라우터는 if-then 구조를 통해 기본적인 프로그램의 흐름을 결정할 수 있다. 세 번째 단계인 도구 호출은 함수와 인자를 선택하여 실행할 수 있는 능력을 가지고 있으며, 네 번째 단계인 다단계 에이전트는 while 루프를 통해 다음 단계를 결정하고 실행할 수 있다. 마지막 단계인 완전 자율 에이전트는 사용자의 요청에 따라 독자적으로 코드를 생성하고 실행할 수 있다. 각 단계가 올라갈수록 인간의 통제력은 줄어들고 시스템의 자율성은 증가하게 된다.

AI 에이전트의 핵심 가치와 위험성...안전성·정확성·신뢰성 우려

연구진이 분석한 AI 에이전트의 가치와 위험성은 다양한 측면에서 나타난다. 안전성 측면에서는 예측 불가능한 행동으로 인한 인명 피해의 위험이 존재한다. 정확성 측면에서는 LLM 기반 모델이 가진 부정확성이 자율성이 증가할수록 더욱 증폭되는 문제가 있다. 일관성 측면에서는 비결정적 특성으로 인해 결과를 예측하기 어렵다는 한계가 있으며, 효율성 측면에서는 복잡한 오류를 수정하는 데 많은 시간이 소요된다는 문제가 있다.

형평성 측면에서는 데이터의 편향성으로 인한 차별이 심화될 수 있으며, 유연성 증가는 다양한 시스템 연동으로 인한 보안 위험을 수반한다. 또한 인간친화성 측면에서는 과도한 의존과 감정적 얽힘의 위험이, 개인정보보호 측면에서는 민감 정보 노출의 위험이 존재한다. 시스템의 관련성이 높아질수록 개인화로 인한 편향이 강화될 수 있으며, 보안 측면에서는 시스템 접근 취약점이 확대된다. 지속가능성 측면에서는 높은 탄소 배출과 물 사용량이 문제가 되며, 신뢰도와 진실성 측면에서는 검증이 불가능하고 허위정보가 생성되고 확산될 위험이 있다.

자율주행차부터 자율무기까지...현재 개발되는 AI 에이전트의 현주소

현재 AI 에이전트는 다양한 분야에서 급속도로 발전하고 있다. 자율주행차의 경우 센서를 통해 환경을 인식하고 인간의 개입 없이 주행하는 수준에 도달했으며, 이는 소비자용 차량부터 완전 자율주행 테스트 환경의 차량까지 다양한 자율성 수준으로 개발되고 있다. 산업용 로봇의 경우 제조업에서 시작하여 의료 분야까지 그 영역을 확장하고 있으며, 최근에는 최신 LLM이 로봇 시스템에 통합되면서 고전적인 로봇공학이 에이전트 AI 영역으로 빠르게 편입되고 있다.

특히 우려되는 것은 자율무기 시스템의 개발이다. 이는 인간의 의미 있는 통제 없이 목표물을 식별하고 공격할 수 있는 시스템으로, 윤리적 책임성과 도덕적 책임, 안전성 측면에서 디지털 에이전트보다 더 심각한 문제를 제기한다. 인간의 목표와 맞지 않는 경우 발생할 수 있는 피해는 완전 자율성이 부여될 때 더욱 심각해질 수 있다.

AI 에이전트에 대한 대립되는 관점들...완전 자율 AI의 필요성 주장도

AI 에이전트 개발을 둘러싼 학계의 의견은 크게 둘로 나뉜다. 일부 연구자들은 완전 자율 AI나 '완전한 에이전트'가 인간 지능을 더 잘 이해하는 데 도움이 될 수 있다고 주장한다. 또한 강한 AI 시스템이 인간의 오류와 비합리성을 상쇄하는 데 도움이 될 수 있다는 의견도 있다.

특히 인공일반지능(AGI) 개발을 목표로 하는 연구자들과 기업들은 AGI가 실현된다면 필연적으로 완전 자율성을 가지게 될 것이라고 전망한다. AGI 지지자들은 이를 통해 기후변화나 기아와 같은 전 지구적 문제를 해결하고 상당한 경제적 이익을 창출할 수 있다고 주장한다. 그러나 연구진은 AGI가 개발된다 하더라도 인간이 항상 일정 수준의 통제권을 유지해야 하며, 이번 연구에서 제시한 에이전트 수준 구분이 향후 AGI 개발 목표 설정에도 도움이 될 것이라고 제안했다.

반자율 시스템 도입과 인간 통제 강화로 위험 최소화해야

연구진은 완전 자율 시스템 개발의 대안으로 '반자율(semi-autonomous)' 시스템의 도입을 제안했다. 이를 위해서는 우선 AI 에이전트의 자율성 수준을 명확히 구분하고 이를 개발 과정에 반영해야 한다. 또한 기술적 수준과 정책적 수준 모두에서 강력한 인간 감독 프레임워크를 개발해야 하며, 이는 유익한 반자율 기능을 보존하면서도 의미 있는 인간의 감독을 가능하게 하는 것을 목표로 한다. 마지막으로 AI 에이전트가 의도된 작동 범위 내에서만 움직이도록 하는 새로운 안전성 검증 방법의 도입이 필수적이다.

연구진은 1980년 북미 지역에서 발생한 사례를 경고의 시그널로 제시했다. 당시 컴퓨터 시스템이 2,000여 개의 소련 미사일이 북미를 향해 날아오고 있다고 잘못 판단했고, 이로 인해 폭격기 승무원들이 비상 대기 상태에 들어가고 지휘소가 전쟁 준비에 돌입하는 상황이 발생했다. 다행히 당시에는 서로 다른 경보 시스템 간의 인간 교차 검증이 이루어져 오경보임이 밝혀졌다. 이처럼 자동화 시스템의 오류는 치명적인 결과를 초래할 수 있으며, AI 시스템에서도 인간의 판단과 맥락 이해가 필수적이라고 연구진은 강조했다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.