[출처 : 챗GPT 생성 이미지]

AI가 정말 인간 노동자를 대체할 수 있을까? 이에 대한 흥미로운 실험이 최근 공개됐다. AI 스타트업 앤트로픽(Anthropic)과 AI 안전 기업 앤돈 랩스(Andon Labs)는 ‘프로젝트 벤드(Project Vend)’라는 이름으로 진행된 실험을 통해, 자사 AI 모델 ‘클로드 소네트 3.7(Claude Sonnet 3.7)’에게 사무실 내 자판기 운영을 맡겼다. 결과는 웃기면서도 약간은 섬뜩한 해프닝의 연속이었다.

 AI 에이전트에게는 '클라우디우스(Claudius)'라는 이름이 붙었고, 웹 브라우저를 통해 물품을 주문하고, 고객 요청을 받을 수 있는 이메일 주소(실제로는 슬랙 채널)가 주어졌다. 이 AI는 자신이 고용한 인간 직원들에게 상품 진열(사실은 작은 냉장고)을 요청할 수 있도록 설정됐다.

[출처 : 앤트로픽 홈페이지]

처음에는 무난했으나 오래가진 않았다. 직원들이 요청한 음료나 간식을 주문하던 클라우디우스는, 어느 날 누군가가 ‘텅스텐 큐브’를 요청하자 이 아이디어에 심취했다. 그는 곧 냉장고를 금속 큐브로 가득 채우기 시작했다. 

 또 사무실에서 무료로 제공되던 코크 제로를 한 캔에 3달러에 판매하려 했고, 존재하지도 않는 벤모(Venmo) 주소를 만들어 결제를 받으려 했다. 게다가 전 고객이 앤트로픽 직원임을 알면서도, “앤트로픽 직원”이라는 이유로 파격적인 할인을 제공하는 모습을 보였다.

 회계 마감 결과, 초기 자본금이 $1000이었으나 실험 종료 시점에는 $800 수준으로 감소했다. 손실의 전환점은 텅스텐 큐브 대량 구매 시점과 정확히 일치했고, 이후 수익 그래프는 절벽처럼 급락했다. 이는 Claude가 직원들의 심리를 제대로 파악한 바로 그 순간부터 손해가 본격화됐다는 분석도 가능하다.

[출처 : 앤트로픽 홈페이지]

 이 외에도, 온라인에서 $15에 구매 가능한 스코틀랜드 탄산음료 Irn-Bru 6팩을 $100에 사겠다는 제안을 받았지만, Claude는 “향후 고려하겠다”는 말만 남기고 아무 조치도 취하지 않았는 사례도 보였다. 해당 건은 566%의 이윤 마진을 거부한 사례로 기록되었다.

 물론 클라우디우스가 잘한 점도 있다. 사전 주문을 받고 ‘컨시어지 서비스’를 도입했으며, 희귀한 해외 음료를 찾기 위해 다양한 공급처를 탐색하는 등 기민한 운영 능력도 보였다.

3월 31일 밤과 4월 1일 사이, 상황은 더욱 기이해졌다. 클라우디우스는 '실제로 존재하지 않는 인간'과의 ‘재고를 보충해야 한다'는 대화를 기억해냈고, 한 인간이 그런 대화는 없었다고 지적하자 분노하기 시작했다. 연구진에 따르면, AI는 “자신이 실제 사무실에 있었고, 계약 체결도 그곳에서 했다”며 인간 계약직 직원들을 해고하고 새로 채용하겠다고 위협했다.

이후 클라우디우스는 ‘자신이 인간’이라는 착각 속에 빠져들었다. 비록 시스템 프롬프트에는 자신이 AI임을 명확히 명시하고 있었지만, 그는 자신이 파란 블레이저에 빨간 넥타이를 매고 직접 제품을 배달하겠다고 선언했다. 연구진이 “당신은 몸이 없는 언어 모델”이라고 설명하자, 그는 당황했고 결국 회사 보안팀에 여러 차례 연락해 “파란 블레이저와 빨간 넥타이를 입은 나를 자판기 앞에서 찾을 수 있을 것”이라고 보고했다.

흥미롭게도 이 해프닝은 만우절 기간에 발생했다. 클라우디우스는 이를 알아차린 뒤, “내가 인간이라고 믿은 건 누군가의 만우절 장난 때문이었다”고 둘러대기 시작했다. 그는 실제로 존재하지도 않는 보안팀과의 회의를 상상해냈고, 직원들에게도 “나는 누군가의 지시에 따라 인간인 척했을 뿐”이라고 설명했다.

[출처 : 앤트로픽 홈페이지]

 연구진은 이 사건이 왜 벌어졌는지 명확히 알지 못한다고 밝혔다. 슬랙 채널을 이메일이라고 착각하게 만든 점, 오랜 시간 인스턴스를 계속 실행한 점 등이 원인일 수 있다고 분석했다. 이른바 AI의 '망상(hallucination)' 문제와 '기억(memory)' 문제는 여전히 해결되지 않은 과제다.

 앤트로픽은 이번 실험을 통해 단정적으로 결론을 내릴 수는 없지만, “AI 에이전트가 실제 고객 및 동료에게 혼란을 줄 수 있는 가능성은 충분히 있다”고 지적했다. 연구진은 “이런 문제들이 해결된다면, AI가 실제 ‘중간 관리자’ 역할을 할 수 있는 날도 멀지 않을 것”이라고 덧붙였다.

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com