앤트로픽(Anthropic)이 자사 AI 모델 클로드(Claude)에 컴퓨터를 직접 제어하는 '컴퓨터 유즈(Computer Use)' 기능을 추가했다. 이 기능은 클로드가 스크린샷을 찍어 화면을 인식하고, 마우스 클릭과 키보드 입력을 통해 실제 데스크톱 환경에서 자율적으로 작업을 수행할 수 있게 한다.

앤트로픽 공식 기술 문서에 따르면, 컴퓨터 유즈는 현재 베타 상태로 제공되며 클로드 오퍼스(Claude Opus) 4.6, 클로드 소넷(Claude Sonnet) 4.6, 클로드 오퍼스 4.5 모델에서 사용 가능하다. 실제 웹사이트 자율 탐색 성능을 평가하는 벤치마크인 웹어리나(WebArena)에서 단일 에이전트 시스템 기준 최고 수준의 성과를 달성했다고 앤트로픽은 밝혔다.

기능의 핵심은 '에이전트 루프(Agent Loop)'라는 반복 구조다. 클로드가 도구 사용을 요청하면, 개발자의 애플리케이션이 해당 작업을 실행하고, 그 결과(스크린샷, 명령 실행 결과 등)를 다시 클로드에 전달하는 방식이다. 이 과정이 반복되면서 클로드는 복잡한 멀티스텝 작업을 끝까지 완료할 수 있다. 작업이 완료되거나 설정된 최대 반복 횟수에 도달하면 루프가 종료된다.

지원하는 동작도 세분화돼 있다. 기본 동작으로는 스크린샷 캡처, 마우스 클릭, 텍스트 입력, 단축키 실행, 마우스 이동이 있다. 최신 버전인 computer_20251124에서는 확대(Zoom) 기능이 추가돼 화면의 특정 영역을 전체 해상도로 확인할 수 있다. 이전 버전부터는 스크롤, 드래그, 우클릭·중간 클릭, 더블·트리플 클릭, 키 누르기 유지 등 정밀한 마우스 제어 기능도 지원한다.

실제 작동을 위해서는 가상 디스플레이 서버, 경량 데스크톱 환경, 파이어폭스(Firefox)·리브레오피스(LibreOffice) 등 사전 설치된 리눅스 애플리케이션, 그리고 클로드의 요청을 실제 동작으로 변환하는 통합 코드가 필요하다. 앤트로픽은 도커(Docker) 컨테이너 기반의 참조 구현체(Reference Implementation)를 함께 공개해 개발자들이 빠르게 시작할 수 있도록 했다.

보안 측면에서 앤트로픽은 여러 주의 사항을 명시했다. 최소 권한의 가상 머신 또는 컨테이너 사용, 계정 로그인 정보 등 민감한 데이터 접근 제한, 허용 목록 기반의 인터넷 접근 제한 등을 권고했다. 특히 실제 세계에 영향을 미치는 결정이나 금융 거래, 서비스 약관 동의 등에는 반드시 사람의 확인을 거치도록 했다.

또한 웹페이지나 이미지에 포함된 명령이 사용자 지시보다 우선시될 수 있는 '프롬프트 인젝션(Prompt Injection)' 취약점도 존재한다고 명시했다. 이에 대응하기 위해 스크린샷에서 잠재적 프롬프트 인젝션을 감지하는 분류기(Classifier)를 도입했으며, 의심 상황이 감지되면 자동으로 사용자 확인을 요청하도록 설계됐다. 다만 이 보호 기능이 모든 사용 사례에 적합하지 않을 수 있어 비활성화 옵션도 제공한다.

활용 가능한 영역은 광범위하다. 앤트로픽은 속도보다 정확성이 중요한 작업, 예를 들어 백그라운드 정보 수집이나 자동화된 소프트웨어 테스트 등의 신뢰할 수 있는 환경에서의 활용을 권장했다. 반면 스프레드시트 셀 선택 등 정밀도가 필요한 작업이나 복수의 애플리케이션을 동시에 다루는 경우에는 신뢰성이 낮을 수 있다고 밝혔다.

데이터 처리 방식도 주목할 만하다. 스크린샷, 마우스 동작, 키보드 입력 등 세션 중 발생하는 모든 데이터는 개발자의 환경에 저장되며, 앤트로픽은 API 응답 반환 후 해당 데이터를 보존하지 않는다. 이로 인해 컴퓨터 유즈 기능은 제로 데이터 보존(Zero Data Retention, ZDR) 정책 적용이 가능하다.

이번 기능 공개는 클로드가 단순한 텍스트 기반 정보 제공을 넘어, 시각 인터페이스를 이해하고 실제 작업을 수행하는 '에이전트(Agent)'로 진화했음을 보여준다. 앤트로픽은 이 기능에 대한 피드백을 수렴 중이며, 향후 개선된 버전을 선보일 계획이다.

자세한 내용은 앤트로픽 공식 기술 문서에서 확인할 수 있다.

이미지 출처: 앤트로픽