[IT동아 강형석 기자] 온디바이스 인공지능(On Device AI)은 말 그대로 언어모델 자체가 기기에 설치되어 외부 네트워크(클라우드)를 거치지 않고 연산을 수행하는 방식이다. 질문을 서버로 보내지 않으니 인터넷 연결이 끊겨도 작동하고, 입력한 내용이 외부로 나가지 않아 프라이버시가 보장된다는 점이 차별점이다. 기기 자체에서 AI 처리가 이뤄지는 만큼, 피지컬 AI 산업에서 없어서는 안 될 기술로 손꼽힌다.

그런 점에서 구글 딥마인드(Google DeepMind)가 공개한 언어모델 젬마 4(Gemma 4)는 스마트폰, 노트북, 데스크톱 PC 등 다양한 환경을 겨냥한 온디바이스 AI 모델로 주목받는다. 무엇보다 정교해진 고급 추론(Advanced Reasoning) 능력과 멀티모달 기술을 바탕으로 모바일 환경에서 에이전틱 워크플로우(Agentic Workflows) 구축이 가능하다는 점이 눈에 띈다.

요즘 출시되는 스마트폰은 대부분 AI 기능을 기본으로 탑재한다. 삼성전자 갤럭시 스마트폰은 '갤럭시 AI', 애플 스마트폰은 '애플 인텔리전스'를 각각 전면에 내세운다. 반면 AI가 본격적으로 주목받기 이전에 출시된 스마트폰은 사정이 다르다. 중앙처리장치에 AI 처리 능력이 없거나 부족한 탓에 이런 기능을 누리기 어렵다.

그렇다면 젬마 4를 구형 스마트폰에 설치하면 어떤 결과가 나올까. 삼성 갤럭시 S23 울트라와 애플 아이폰 13 프로에 젬마 4를 각각 설치해봤다.

안드로이드 스마트폰에 젬마 4를 설치하려면?

안드로이드 스마트폰에 젬마 4를 설치하는 경로는 여럿이지만, 외부 파일을 직접 설치하는 방식은 보안 문제가 따른다. 구글 플레이 스토어에서 제공하는 '구글 AI 엣지 갤러리(Google AI Edge Gallery)'를 이용하는 편이 훨씬 쉽고 안전하다. 이 앱은 온디바이스 AI 경험을 직접 실험할 수 있도록 설계된 오픈소스 앱으로, 개발자가 아닌 일반 사용자도 코드 작성 없이 젬마 4를 체험하는 데 무리가 없다.

플레이 스토어에서 앱을 내려받아 실행하면 언어모델 설치 단계로 넘어간다. 화면 좌측 상단의 가로줄 세 개짜리 메뉴 아이콘을 터치하면 설정(Setting)과 모델(Models) 두 가지 항목이 나타난다. 여기서 우측의 모델을 선택해 진행하면 된다.

모델 화면에는 총 9종의 언어모델이 제공된다. 딥시크(DeepSeek), 젬마(Gemma) 3n, 젬마 4, 모바일액션(MobileActions), 큐원(Qwen), 타이니가든(TinyGarden) 등을 고를 수 있다. 젬마 4를 쓰려면 목록에서 'Gemma-4' 항목을 찾으면 된다. 젬마 4는 기기 사양에 따라 두 가지 모델로 나뉜다. 가장 가벼운 'Gemma-4-E2B-it'과 한 단계 위인 'Gemma-4-E4B-it'가 그것이다.

메모리 8GB 이하 기기라면 E2B 모델이 적합하고, 8GB 이상 혹은 12GB급 기기라면 E4B 모델을 선택하는 편이 유리하다. 두 모델의 차이는 매개변수(파라미터), 즉 언어모델의 훈련량에서 비롯된다. 매개변수가 많을수록 AI가 양질의 답변을 내놓을 가능성도 높아진다. 설치 용량은 E2B 기준 약 2.5GB, E4B는 약 3.6GB다.

아이폰에 젬마 4를 설치하려면?

아이폰도 안드로이드와 마찬가지로 구글 AI 엣지 갤러리 앱을 통해 젬마 4를 쓸 수 있다. LiteRT-LM(구 TensorFlow-Lite)을 활용하는 방법도 존재하지만, 아이폰 특유의 폐쇄적인 환경에서 초보자가 직접 설치하기엔 난이도가 높다. LiteRT-LM은 맥북 등 맥 계열 시스템에서 활용하는 게 낫다.

구글 AI 엣지 갤러리는 애플 앱스토어에서 검색해 내려받으면 된다. 설치 후 사용 방법은 안드로이드와 동일하다. 앱을 열고 기기 사양에 맞게 E2B 또는 E4B 모델을 고른 뒤 원하는 기능을 바로 쓰면 된다.

다만 기기 사양에 따른 제약은 미리 확인해야 한다. 아이폰 13 프로에는 5세대 신경망 엔진을 탑재한 A15 바이오닉이 들어가지만, 메모리가 4GB에 그쳐 E4B 모델 실행은 어렵다. 실제로 구글 AI 엣지 갤러리에서도 E2B 모델만 표시됐다. 아이폰 14 프로 역시 메모리가 6GB여서 E4B 모델 설치에는 신중을 기해야 한다. E4B 모델을 원활하게 구동하려면 메모리 8GB를 갖춘 아이폰 15 프로 이후 기기가 적합하다.

AI 없는 최신폰 아니어도 AI를 경험한다

젬마 4 다운로드가 완료되면 '시도하라(Try it)' 버튼이 나타난다. 이를 터치하면 ▲AI 챗(AI Chat) ▲이미지 질문(Ask an Image) ▲오디오 스크라이브(Audio Scribe) ▲에이전트 스킬(Agent Skills) ▲프롬프트 랩(Prompt Lab) 다섯 가지 기능을 선택하는 화면으로 전환된다.

AI 챗은 여느 생성 AI 서비스와 기본 구조가 같다. 명령어를 입력하면 훈련 데이터를 바탕으로 답변한다. 도구 모음에서 생각 모드(Enable Thinking)를 켜면 모델이 단계별로 추론하는 과정까지 보여주는데, 복잡한 문제를 AI가 어떻게 풀어나가는지 들여다보는 기능이기도 하다.

이미지 질문은 카메라나 갤러리의 사진을 불러와 물체를 식별하거나 시각적 퍼즐을 해결하고, 이미지에 대한 상세한 설명을 제공하는 기능이다. 영수증이나 화이트보드의 글자를 읽거나, 낯선 제품 정보를 즉석에서 파악하는 데 유용하다.

오디오 스크라이브는 음성 녹음을 실시간으로 텍스트로 전환하거나 다른 언어로 번역하는 기능이다. 인터넷 연결 없이도 회의 내용을 텍스트로 남기거나, 외국어 대화를 즉석에서 옮겨 적는 데 쓰인다. 단, 한 클립당 30초 제한이 따른다.

에이전트 스킬은 정보 검색, 지도 생성, 자동 요약, 플래시카드 생성 등 다양한 기능을 품었다. 언어모델이 사용자의 의도를 파악해 적절한 스킬을 자동으로 실행하는 방식으로 작동한다. 추론 자체는 스마트폰 안에서 처리되지만, 검색이나 일부 자료 생성에는 네트워크 접속이 필요하다. 이 기능을 활용하면 자율 에이전트 워크플로우 구현도 가능하며, 깃허브를 통해 스킬을 직접 불러오거나 새로 제작해 배포하는 것도 열려 있는 방식이다.

프롬프트 랩은 단일 프롬프트를 실행하기 위한 전용 공간이다. 자유롭게 코드를 입력하거나, AI가 생성한 결과물을 조정하고 다듬는 작업도 여기서 한다. 기본 제공 템플릿은 자유 형식 프롬프트(Freeform Prompt), 텍스트 요약(Summarize Text), 톤 변환(Rewrite Tone), 코드 스니펫(Code Snippet) 네 가지다. 이를 활용하면 긴 문서를 간결하게 요약하거나, 텍스트의 어조나 문체를 바꾸거나, 개발용 코드를 생성하는 작업을 손쉽게 처리한다.

젬마 4는 구형 스마트폰이라도 AI 구현이 가능한 모델이다. 다만 언어모델에 따라 체감 속도 차이는 뚜렷했다. 온디바이스 AI의 특성상 첫 실행 때 언어모델을 불러오는 준비 과정이 필요해서다. 기기 사양에 맞는 매개변수 선택이 중요한 이유가 바로 여기에 있다. 갤럭시 S23 울트라 기준으로 E2B 모델 로딩에는 약 4초, E4B 모델은 약 12초가 걸렸다. E2B 모델만 설치 가능했던 아이폰 13 프로는 초기 모델 인식에 5초가 소요됐고, 이후에는 2초 만에 구동됐다.

온디바이스의 성장 잠재력을 보여준 젬마 4. 아직 클라우드 AI와 같은 수준의 성능을 기대하기엔 이르다. 긴 맥락의 복잡한 작업, 최신 정보가 필요한 검색, 고품질 이미지 생성 같은 영역은 여전히 클라우드 모델의 몫이다. 그럼에도 AI를 다루는 선택지가 넓어졌다는 사실 자체는 분명 긍정적인 변화다.

IT동아 강형석 기자 (redbk@itdonga.com)