퍼플렉시티가 맥 앱에 하이브리드 컴퓨트 기능을 현지 시각 9월 1일 출시했다. 에이전트 컴퓨터가 하나의 작업을 클라우드 모델과 맥에서 실행되는 로컬 모델로 나눠 처리하는 방식이다. 민감한 파일이나 개인 데이터를 다루는 단계는 애플 실리콘에서 처리해 기기 밖으로 내보내지 않는다.
퍼플렉시티는 혈액 검사 결과나 세금 신고서, 소송 문서를 다루는 작업을 예로 들었다. 클라우드 모델이 조사와 추론을 맡고 개인정보가 들어간 단계는 로컬 모델로 넘어간다. 작업을 처음부터 다시 시작하거나 에이전트가 앞선 맥락을 잃지 않고 전환된다는 것이 회사 설명이다. 아이폰에서 지시를 보내면 맥이 파일에 접근해 민감한 단계를 로컬로 처리하는 방식도 지원한다.
퍼플렉시티는 개인정보 분류기로 어느 쪽에 보낼지 판단하며, 이 분류기를 오픈소스로 공개했다. 약 6억 매개변수 규모의 큐원 기반 양방향 인코더로, 개인정보를 아홉 가지 범주로 나눠 표시하고 민감도 점수를 매긴다. 보안 담당자가 가중치를 직접 검증하고 다른 제품이 같은 방식을 가져다 쓸 수 있게 하려는 것을 공개 이유로 들었다. 회사는 분류기를 만든 과정을 담은 연구도 함께 공개했다.
하이브리드 컴퓨트는 프로와 맥스, 엔터프라이즈 구독자에게 제공된다. 애플 실리콘 맥과 맥OS 15 이상, 통합 메모리 24기가바이트 이상이 필요하다. 로컬 단계는 기기 안의 연산을 쓰기 때문에 클라우드 토큰 비용이 들지 않는다. 로컬 모델로는 젬마 4 E4B와 큐원3.6 35B-A3B, 퍼플렉시티 자체 모델을 제공한다.
퍼플렉시티가 8월 25일 엔비디아와 함께 공개한 포터블 컴퓨터와는 다른 제품이다. 포터블 컴퓨터는 엔비디아 DGX 스파크와 리눅스에서 완전히 로컬로 실행되는 에이전트이고, 하이브리드 컴퓨트는 맥에서 클라우드와 로컬을 섞어 쓴다. 기업은 어려운 추론에 성능 좋은 클라우드 모델을 쓰고 싶어 하면서도 계약서나 재무 기록, 소스 코드를 외부로 보내기를 꺼린다. 다만 분류기가 새로운 형태의 개인정보를 놓치거나 일반 내용을 잘못 표시할 수 있다는 한계도 남는다.
자세한 내용은 퍼플렉시티에서 확인할 수 있다.
이미지 출처: 퍼플렉시티
AI Matters 뉴스레터 구독하기
9
