오픈AI(OpenAI)가 코딩 에이전트 코덱스(Codex)에 새 입력 기능 ‘앱샷(Appshots)’을 추가했다. 오픈AI는 5월 21일(현지시간) 공식 소개 영상을 통해 이를 공개했다. 맥(Mac)에서 커맨드 키를 두 번(⌘⌘) 누르면, 지금 보고 있는 앱 창이 코덱스 대화(스레드)에 통째로 첨부되는 방식이다.

앱샷이 넘기는 것은 단순한 화면 사진이 아니다. 창의 스크린샷(이미지)과 함께 그 안의 텍스트를 같이 보내는데, 화면에 보이는 부분을 넘어 스크롤 밖에 있는 내용까지 포함한다. 복사·붙여넣기를 하거나 상황을 일일이 설명할 필요 없이, 작업 중인 맥락을 그대로 코덱스에 전달하는 셈이다.

작동을 위해서는 두 가지 권한이 필요하다. 화면을 비트맵으로 캡처하기 위한 ‘화면 기록(Screen Recording)’ 권한과, 다른 앱의 라벨·버튼 이름은 물론 현재 화면 밖에 있는 콘텐츠까지 구조화된 UI 텍스트로 읽어 오기 위한 ‘손쉬운 사용(Accessibility)’ 권한이다.

앱샷은 맥에서 모든 요금제 이용자에게 제공되며, 기업용(enterprise) 접근은 곧 열릴 예정이다. ‘복붙’ 없이 화면 맥락을 통째로 AI에 넘기는 이 방식은, 개발자가 코딩 에이전트에 상황을 입력하는 방법 자체를 바꿀 만한 변화로 눈여겨볼 만하다.

자세한 내용은 오픈AI 코덱스 ‘앱샷’ 소개 영상에서 확인할 수 있다.

이미지 출처: 오픈AI