독학 개발자 시길 웬(Sigil Wen)이 설립한 스타트업 콘웨이 리서치가 기기 안에서만 실행되는 AI 비서 ‘언더독(Underdog)’의 초대제 베타를 공개했다. 현지 시각 10월 6일 테크크런치에 따르면 언더독은 사용자의 데이터를 외부 서버로 전송하지 않고 사용자가 이미 보유한 기기에서 처리하는 온디바이스 방식이다. 현재 맥과 윈도우 PC를 지원하며 리눅스·아이폰·안드로이드 버전은 준비하고 있다.

웬은 AI 모델을 실행하는 추론 엔진 ‘허스키(Husky)’를 직접 개발했다. 그는 다른 온디바이스 엔진과 달리 컴퓨터의 중앙처리장치와 그래픽 칩 사이에서 이동하는 데이터 양을 줄여 속도를 높였다고 설명했다. 사용자가 접근을 허용한 이메일 등 계정의 인증 키도 암호화해 보관한다.

언더독은 큐원3.8 27B를 미세조정한 매개변수 270억 개 규모 추론 모델을 사용한다. 미세조정은 이미 학습한 모델을 특정 목적에 맞춰 추가로 학습시키는 과정이다. 데이터센터에서 실행되는 최신 대형 모델보다 작지만, 웬은 이 모델이 일부 벤치마크에서 6개월 전 최고 성능 모델이던 클로드 오퍼스 4.6과 비슷한 결과를 냈다고 밝혔다. 그는 쇼핑 정보 조사나 수학 숙제 풀이 같은 일상 작업을 처리하기에 충분한 성능이라고 주장했다.

언더독은 연산을 사용자 기기에서 처리해 추론 서버 비용이 거의 발생하지 않아, 광고 없이 무료로 제공된다. 웬은 “비용이 매우 낮아 구독료를 받을 필요가 없다”고 말했다. 대신 AI 비서가 스트라이프 결제망으로 결제를 처리할 때 거래액의 일부를 수수료로 받는다. 카드사가 결제 건마다 받는 수수료와 비슷한 구조로, 이용자 데이터를 수익원으로 삼지 않는다는 것이 웬의 설명이다.

투자자로는 스트라이프 공동창업자 패트릭 콜리슨과 안드레센 호로위츠(a16z), 코슬라 벤처스, SV 엔젤, 멘로 벤처스와 앤트로픽이 함께 운영하는 앤솔로지 펀드가 참여했다. 버셀 창업자 기예르모 라우치와 오픈AI 연구원 노암 브라운도 엔젤 투자자로 참여했다. 웬은 17세에 실리콘밸리로 이주해 안드레이 카르파시와 같은 AI 해커하우스에서 생활했고, 현재 피터 틸이 운영하는 틸 펠로십 회원이다.

자세한 내용은 테크크런치(TechCrunch)에서 확인할 수 있다.

이미지 출처: 콘웨이 리서치