온디바이스 AI, 기존 AI와 무엇이 다를까?

M6 plc-wave 24.11.29. 12:47:06

410 2

* 출처는 안랩입니다.

챗GPT나 클로드(Claude),바드(Bard)와 같은 생성형 AI는 인터넷 연결이 없으면 무용지물이다. 스마트 기기에서 작성된 질문을 클라우드 서버로 전송해 분석하고 다시 기기에 보내는 방식으로 진행되기 때문이다. 하지만 온디바이스 AI가 출현함에 따라 스마트폰에서 자체적으로 정보를 처리할 수 있게 됐다. 온디바이스 AI의 개념과 트렌드, 발전 방향 등에 대해 알아본다.

스마트폰이 정말 ‘스마트’해지고 있다.통화기기에 불과했던 휴대전화는 스마트폰의 등장으로 기능이 더욱 풍부해졌으며, 개인 비서와 같이 AI를 탑재한 스마트한 기능은 인터넷을 반드시 필요로 한다. 이 개인 비서는 최근 삶의 다양한 영역을 관리해주는 수준으로 진화했다. 그 중심에는 AI가 있으며, 한 단계 더 나아가 ‘온디바이스(On-Device) AI’가 있다.

온디바이스 AI는 스마트폰의 기능을 한층 더 높일 것으로 예상된다. 온디바이스 AI는 기존에 주로 사용되던 클라우드 서버가 아닌 스마트폰 자체에서 정보를 처리할 수 있는 기술을 말한다.

이 기술은 실시간에 가까운 처리 속도와 강력한 개인정보 보호, 에너지 효율성 극대화와 같은 다양한 이점을 제공한다.

온디바이스 AI를 이해하려면, 먼저 반대 개념인 클라우드 기반 AI를 알아야 한다. 대다수 일반적인 AI는 클라우드를 기반으로 작동한다. 예를 들어, GPT-4, 클로드, 코파일럿과 같은 AI 서비스는 모두 대규모 데이터센터에서 운영된다.

이러한 이유로 인터넷 연결이 끊기거나 클라우드 자체가 마비되면 AI를 사용할 수 없다. 또한, 클라우드 AI는 사용자의 질문과 데이터가 모두 클라우드로 전송되기 때문에 보안 문제가 발생할 수 있으며, 데이터 전송 시 비용과 시간이 소모된다.

반면, 온디바이스 AI는 규모가 작아 기능이 다소 제한적일 수 있지만, 클라우드에 연결하지 않고도 서비스를 바로 이용할 수 있다. 이로 인해 앞서 언급한 불편함을 겪지 않아도 된다.

최근 온디바이스 AI 서비스는 주로 스마트폰, 노트북의 기본 기능인 사진, 음성 인식 강화에 중점을 둔다. 대화형 챗봇을 온전히 온디바이스 AI로 구현하기에는 모델 경량화와 반도체 발전이 추가적으로 필요하기 때문에, 작은 모델부터 소소하지만 기본적인 기능들을 개선하는 것부터 시작하고 있다.

노트북, 스마트폰에서 AI 모델이 구동되기 위해서는 일단 모델의 크기가 작아야 한다. 클라우드에서 구동되는 모델은 오픈AI 주도로 점차 사진, 오디오 등 다양한 입력 값을 한 번에 처리하기 위해 멀티 모달 모델(GPT-4V 등)화되고 있으나, 온디바이스 모델은 작고 특정 기능에 한정되어 있다. 모델이 작아야 기기에 쉽게 저장할 수 있으며, 구동되는데 소요되는 시간이 적어 온디바이스 AI 서비스의 장점을 살릴 수 있다.

또한, 온디바이스 AI를 구현하기 위해서는 소프트웨어 관점의 모델 경량화와 더불어 하드웨어 관점에서 칩셋의 구조 변화가 필수적이다. 기존 방식에서 AI 계산을 하려면 CPU와 GPU가 각각의 메모리를 통해 데이터를 주고받아야 하고, 이는 데이터 전송의 지연과 성능 저하를 유발한다. 사용되는 메모리의 양이 일반적인 소프트웨어에 비해 상당히 많은 AI 계산의 경우, 데이터 전송 시 병목 현상으로 이어질 수 있어 기존 구조로는 온디바이스 AI 구현이 어렵다. 온디바이스AI는 아직까지 많이 출시되지 않았지만, 일부는 이미 시중에서 판매되고 있다.

온디바이스 AI 기반 제품들

2023년 10월 출시된 구글의 ‘픽셀 8 프로’는 생성형 AI가 최초로 내장된 스마트폰으로 이미지, 사운드 합성 및 제거, 맥락에 맞는 언어표현 추천 등의 서비스를 제공한다.

현재 주요 글로벌 반도체 기업들은 온디바이스 AI를 활용할 수 있는 고성능 반도체 개발에 총력을 기울이고 있다. 이 중 퀄컴(Qualcomm)은 스마트폰, 태블릿 등 모바일 기기뿐만 아니라 PC 분야에 이르기까지 폭넓은 포트폴리오를 보유하고 있다.

퀄컴은 스마트폰용 SoC인 스냅드래곤8을 시작으로 지난 6월 자체 개발한 '오라이온(Oryon)’ CPU를 탑재한 스냅드래곤 X 엘리트/플러스를 출시하며 온디바이스 AI 포트폴리오를 확장했다. 현재 스냅드래곤 X 엘리트/플러스를 탑재한 PC 22종이 국내외 시장에 출시됐다.