[IT동아 강형석 기자] 생성형 인공지능 기술이 빠른 속도로 성장하면서 관련 서비스도 산업 전반에 걸쳐 광범위하게 적용되고 있다. 우리가 흔히 쓰는 검색, 문서 작업 등에 인공지능이 적용된 것은 기본이고 사진영상 창작과 음성 분석 등을 활용한 것도 등장했을 정도다. 과거 구글 딥마인드와 이세돌과의 바둑 대결은 인공지능 시대의 서막을 알린 사건이었다면 오픈AI 챗(Chat)-GPT의 등장은 본격적인 인공지능 시대에 들어섰음을 보여준다.

지금까지 인공지능이 서비스 성숙도에 초점을 두고 있었다면 이제 누구나 쓸 수 있는 환경 구축에 뛰어들고 있다. 온라인이 아닌 기기 자체에서 인공지능을 처리하는, 이른바 ‘온-디바이스 인공지능(On-Device AI)’을 준비하겠다는 것이다. 인텔, AMD를 주축으로 기존 PC 시스템에 신경망 처리장치(NPU)를 탑재하며 차세대 시장 경쟁을 시작한 게 대표적이다. 모바일 기기용 칩에 NPU를 탑재해 온 퀄컴도 PC 시장 경쟁을 시작했다. 독자 생태계를 구축해 온 애플도 인공지능 카드를 꺼내 들었다.

오래전부터 자체 인공지능 처리 능력을 갖추기 시작한 모바일 기기와 달리 PC 시스템은 지난해부터 본격적인 대비에 나선 상황이다. 올해는 마이크로소프트가 코파일럿+ PC를 제안하며 생태계 구성을 위한 판을 짜는 중이다. 이제 온-디바이스 서비스가 대거 등장할 차례다.

다양한 개인용 소프트웨어에서 인공지능 지원하지만, 대부분 ‘온-디멘드’ 방식

인공지능 서비스는 크게 두 가지다. 하나는 데이터를 온라인으로 처리하는 ‘온-디멘드(On-Demand) AI’와 기기 자체에서 처리하는 ‘온-디바이스(On-Device) AI’다. 각각의 장단점은 존재한다. 온-디멘드 방식은 이미 데이터 학습이 끝난 기업의 대규모 클라우드 서버를 활용해 명령어를 보내고 그에 따른 결과를 얻는다. 높은 정확도를 기대할 수 있지만, 네트워크 환경에 많은 영향을 받는다. 온-디바이스 방식은 기기 내에서 인공지능 데이터를 처리한다. 기기에서 즉시 처리하므로 처리속도는 빠르지만, 내 장치 내에 있는 한정된 자원을 가지고 인공지능을 처리하니 정확도는 아쉬울 수 있다.

스마트폰을 예로 보면 이렇다. 지금은 다양한 서비스가 있으나 초창기 온-디바이스 AI는 음성비서와 검색 등 제한적이었다. 지금은 이미지를 분석해 분류하거나 편집에 도움을 주고 통역까지 도맡는 등 활용도가 크게 확대됐다. PC는 아직 이 정도 수준에 도달한 상황은 아니다. 현재 PC 상에서 서비스되는 대부분 인공지능 서비스는 온-디바이스가 아니라 온-디멘드 방식으로 운영되고 있다. 온라인 연결이 없으면 사실상 무용지물인 셈이다.

온-디바이스 AI를 경험하려면 조금 더 기다려야 된다. 마이크로소프트가 윈도우 11 내에 인공지능 기능을 대거 추가하며 편의성을 갖출 예정이다. 아직 온라인 서비스 중심으로 운영되지만, 업데이트를 통해 온-디바이스 AI 서비스를 제공할 예정이다. 대형언어모델(LLM)에 적합한 것은 지금처럼 클라우드에서 제공하고 소형언어모델(SLM)에 적합한 서비스를 온-디바이스로 구현한다는 방침이다.

대표적으로 영상 콘텐츠를 감상할 때 기기 내 신경망 처리장치를 활용, 실시간 번역을 진행한다. 그림판, 사진 앱도 기기 내에서 처리될 수 있게 바꾼다. 특히 그림판 내에 ‘이미지 크리에이터’ 기능을 추가해 인공지능 기반 그림 생성이 가능하다. 기본 제공되는 것은 아니고 신청한 사용자에 한해 체험판을 제공 중이다.

이 외 서비스 대부분은 온라인 연결이 필수다. 대표적으로 어도비 크리에이티브 클라우드(Creative Cloud) 내에 있는 라이트룸, 포토샵, 프리미어 등 주요 소프트웨어에서 인공지능 기능을 경험하려면 온라인 연결이 필요하다. 마이크로소프트 365에서도 인공지능 힘을 빌리려면 온라인 연결이 이뤄져야 한다.

국내 서비스도 마찬가지다. 한컴 오피스도 인공지능 서비스, 한컴독스 AI를 제공한다. 설치형은 인공지능 기능이 없고 브라우저를 활용해 온라인 연결 후 써야 된다. 폴라리스 오피스는 온-디바이스 오피스 AI 솔루션을 선보였는데 윈도우 PC가 아닌 맥 OS 기반 PC에서만 쓸 수 있다.

엔비디아가 배포하고 있는 ‘챗 위드 RTX(Chat With RTX)’는 어떻게 보면 온-디바이스 AI 서비스라 봐도 무방하다. 시스템 내에 인공지능 언어 묶음과 구동 소프트웨어를 설치하면 쓸 수 있다. 필요한 파일을 검색한다거나 내용을 정리하는 등 편리하게 쓸 수 있다. 다만 엔비디아에서 개발한 것이기에 지포스 그래픽카드, 그것도 RTX 30 시리즈 이상 그래픽카드가 필요하다는 제약이 따른다.

산업용 PC 기반 ‘온-디바이스 AI’는 제한적이지만 움직임은 있다

일반 소비자용 PC 시스템에서 온-디바이스 AI 기능은 제한적으로 구현된 상태다. 이는 산업군도 마찬가지다. 규모에 상관없이 자체 데이터센터를 구축, 온-프레미스(On-Premise) 형태로 인공지능 학습과 추론을 진행하는 수준이 아니라면 대부분 온라인 접속이 필요하다. 다만 환경은 갖춰졌으나 인공지능 개발, 적용이 어려운 시장에 대응하는 소프트웨어 수는 점차 느는 추세다.

뉴로클의 뉴로(Neuro)-T는 딥러닝 비전검사 솔루션으로 접속 인증과 업데이트, 기술지원 등의 절차가 온라인으로 진행되지만, 데이터 학습은 자체 보유한 장비 내에서 이뤄진다. 프로젝트 계획부터 데이터 관리, 레이블링, 검사 모델 학습, 성능 검토까지 가능하다. 별도로 인공지능 전문가를 쓰지 않아도 소프트웨어 내에서 쉽게 다룰 수 있다. 데이터 운용에 대해 보수적이거나 인공지능 적용 범위가 한정적인 시장에서는 최적의 형태다.

인공지능 적용 방식은 다른 것과 다르지 않다. 비슷한 형태의 이미지를 계속 학습시킨 후 현장에 적용하면 축적된 학습 자료를 바탕으로 결과를 내놓는다. 예로 생산현장에서 만들어진 톱니바퀴 중 불량 사례를 계속 학습시키면 추후 비슷한 사례를 바탕으로 검수해 주는 식이다.

온-디바이스 형태에 가깝다 보니까 인공지능 처리가 가능한 시스템이 필요하다. 인텔 코어 i7 급 이상 중앙처리장치(CPU), 최소 지포스 RTX 3080급 이상 또는 지포스 RTX 4080 이상 그래픽 처리장치(GPU) 등을 요구한다. 여러 데이터를 다루니 메모리 또한 64GB 가량 확보해야 된다.

이 외에 로봇, 유통 등 특수한 운용 환경에 맞춘 온-프레미스(온-디바이스) 인공지능 서비스도 존재한다. 그러나 당분간 산업용 인공지능 시장은 클라우드 서비스와 자체 운용 방식으로 양분되리라 예상된다.

아직 잠잠해 보이는 온-디바이스 AI 소프트웨어 시장. 속을 들여다보면 준비는 착실히 이뤄지고 있다. 2024년 3월, 국내 인공지능 PC 생태계 확충을 위해 인텔코리아를 중심으로 소프트웨어 및 하드웨어 기업, 교육 기관 등 총 17개 기업 및 기관이 모인 '한국 인공지능 PC 얼라이언스(K-APA)'가 결성됐다. 솔트룩스, 폴라리스 오피스, 이스트소프트 등 소프트웨어와 서비스 기업이 이름을 올린 상태다. 온-디멘드 방식 서비스 외에도 온-디바이스 기반 서비스 구현도 기대해 볼 부분이다. 생각과 접근 방식은 달라도 인공지능 시대를 향해 발 빠르게 움직이고 있는 점은 같다.

글 / IT동아 강형석 (redbk@itdonga.com)