▲ AI generated image @Stable Diffusion Online

AI는 이제 우리 생활에 완전히 뿌리내렸다. 학업과 일상은 물론, 사무업무나 콘텐츠 제작까지 다양한 분야에서 자연스럽게 활용되고 있으며, 이제는 AI 없는 일상을 상상하기조차 어려운 시대가 됐다. 최근 새로 출범한 정부 역시 “AI 투자 100조 원 시대”를 예고하며, 국가 차원의 큰 그림을 그리는 중이다.

▲ AI generated image @Stable Diffusion Online

AI를 활용하는 방식은 크게 두 가지로 나뉜다. 하나는 클라우드를 통해 연산을 처리하는 ‘서버형’, 다른 하나는 사용자의 PC나 노트북 같은 로컬 기기의 CPU나 GPU를 활용하는 ‘온디바이스(On-Device)’ 방식이다. AI에 입문한 사용자라면 이 개념이 조금 낯설게 느껴질 수도 있다. 예를 들어, 텍스트를 생성하거나 이미지를 만들 때 우리는 웹사이트나 애플리케이션을 통해 AI 기능을 사용하게 되는데, 이때 중요한 차이는 그 AI가 ‘어디서’ 실행되느냐다. 즉, 연산이 클라우드 서버에서 처리되는지, 아니면 내 컴퓨터에서 직접 처리되는지에 따라 서버형과 온디바이스로 구분된다.

조금 더 구체적으로 설명하면, 대표적인 서버형 AI는 ChatGPT나 Google Gemini처럼 각 기업의 서버에서 작동하는 모델이다. 사용자는 해당 서비스의 웹페이지에 접속해 프롬프트 입력창을 통해 AI에 명령을 내리는 방식으로 활용하게 된다. 반면, Adobe Premiere의 생성형 AI 기능처럼 실행 중인 PC의 CPU나 GPU를 직접 사용하는 방식은 ‘온디바이스 AI’에 해당한다. 이 경우 사용자는 Adobe Premiere 애플리케이션을 실행하고, 그 안의 기능을 활성화하는 방식으로 AI를 이용하게 된다.

온디바이스 AI를 선택하는 이유

여기서 한 가지 의문이 생긴다. 애플리케이션을 따로 설치할 필요도 없고, 내 PC 사양을 굳이 따지지 않아도 서버형 AI 웹사이트에 접속하면 모든 것이 해결되는 시대 아닌가? 웹 브라우저에 주소만 입력하면 곧바로 AI 세상이 펼쳐지는데, 굳이 애플리케이션을 설치하고 CPU, GPU 사양까지 신경 쓰며 복잡하게 준비할 필요가 있는 걸까?

1. 비용 절감

▲ AI generated image @Stable Diffusion Online

조금만 깊게 들여다보면, 왜 온디바이스 AI를 사용하는지가 수긍된다. 여러 측면에서 분명한 장점을 갖고 있기 때문이다. 가장 대표적인 것은 바로 비용 문제다. 서버 기반 AI 서비스는 일정 수준 이상의 기능을 사용하려면 거의 예외 없이 월 구독료나 API 호출 비용이 발생한다. 예를 들어 ChatGPT의 경우, 고급 모델을 사용하려면 월 20달러의 유료 플랜에 가입해야 한다. 생성형 AI가 보편화되면서 ‘무료로 잠깐 써보는 것’에서 ‘유료 구독으로 본격적으로 활용하는 것’으로 사용 패턴이 바뀌고 있고, 이러한 과금 체계는 이미 자연스럽게 사용자들의 인식 속에 자리 잡았다. 문제는 이 요금도 AI 엔진이 더욱 강력해질수록, 수요가 많아질수록 언제든 인상될 수 있다는 점이다. 서버형 AI는 결국 쓸수록 지갑이 가벼워지는 구조라는 사실을 잊기 어렵다.

2. 프라이버시 보호 

▲ AI generated image @Stable Diffusion Online

프라이버시 보호를 중요하게 여기는 사용자에게도 온디바이스 AI는 훨씬 유리한 선택지다. 서버형 AI는 사용자의 입력 데이터를 외부 서버로 전송해 처리하는 구조이기 때문에, 해당 데이터가 서버에 저장되거나 추후 활용될 가능성을 완전히 배제할 수 없다. 특히 사람이 몰리는 대형 서버의 특성상, 데이터가 의도치 않게 유출되거나 영구 보관될 여지도 존재한다. 또 서버와 사용자 사이의 통신 과정에서 중간자 공격(MITM)이나 서버 자체가 해킹되는 등의 보안 위협 역시 완전히 안전하다고 보긴 어렵다. 여기에 더해, 단순한 기술적 리스크를 넘어 국가별 법률 위반 소지도 존재한다. 예를 들어, 국내에서 의료인이 환자 정보를 생성형 AI에 입력했다가 해당 정보가 서버를 통해 전송되면, 이는 의료법상 환자 진료 정보 보호 의무 위반에 해당할 수 있다. 실제로 서버형 AI를 활용하다가 이런 민감한 정보 처리 문제로 인해 법적 처벌을 받을 가능성도 배제할 수 없는 셈이다.

3. 빠른 작업 속도

▲ AI generated image @ChatGPT 4o

PC나 노트북의 사양이 어느 정도 받쳐줘야 한다는 전제가 붙지만, 온디바이스 AI는 처리 속도 측면에서도 상당한 이점을 제공한다. 얼마 전 지브리 스타일 이미지 변환이 온라인상에서 큰 인기를 끌면서, ChatGPT를 비롯한 서버형 AI의 응답 및 처리 속도가 점점 느려지는 현상이 발생했다. 특히 '빨리빨리'에 익숙한 한국인 입장에선 도무지 참기 힘든 수준이었다. 게다가 며칠 전에는 ChatGPT 서버가 일시적으로 다운되어 서비스 자체가 중단되는 사태도 있었다. 이처럼 서버형 AI는 서버가 과부하되거나 오류가 발생할 경우, 전체 서비스가 마비될 수 있다는 구조적 리스크를 안고 있다. 심지어 연산 처리 속도나 생성 결과물의 품질까지 일시적으로 저하될 가능성도 배제할 수 없다. 결국 빠르고 안정적인 생성형 AI 작업 환경을 원하는 사용자라면, 온디바이스 AI가 훨씬 더 유리한 선택임을 기억해야 한다.

온디바이스 AI의 취약점

온디바이스 AI라고 해서 만능은 아니다. 가장 큰 진입 장벽은 높은 진입 난이도다. 서버형 AI는 웹사이트에 접속하고 로그인만 하면 즉시 사용할 수 있는 반면, 온디바이스 AI는 설치부터 환경 설정까지 상당히 복잡한 준비 과정이 필요하다. 대부분의 온디바이스 애플리케이션은 단순히 실행만 하면 되는 구조가 아니며, Python 환경 구성, 관련 라이브러리 설치, AI 모델 다운로드, GPU 드라이버 연동 등 여러 단계를 거쳐야 한다. 이 과정은 초보 사용자에게는 낯설고 어렵게 느껴질 수밖에 없다. 그림 한 장을 생성하려 해도 ‘런타임 에러’나 ‘의존성 충돌’ 같은 기술적인 오류 메시지에 직면하는 경우가 흔하고, 문제를 해결하기 위해서는 사용자가 스스로 원인을 분석하고 조치를 취해야 한다. 게다가 많은 애플리케이션의 인터페이스와 오류 메시지는 대부분 영어로 표시되기 때문에, 언어적인 장벽 또한 무시할 수 없다.

성능 요구사항도 결코 가볍지 않다. 대표적인 온디바이스 이미지 생성 AI인 Stable Diffusion을 원활하게 구동하려면 최소 8GB 이상의 VRAM을 갖춘 GPU가 필요하다. 일반적인 사무용 노트북이나 구형 데스크톱으로는 정상적인 결과물을 얻기 어려우며, 렌더링 시간이 지나치게 오래 걸리거나 아예 실행 자체가 불가능한 경우도 많다. 결국 온디바이스 AI의 잠재력을 제대로 활용하려면 상당한 성능의 하드웨어가 뒷받침되어야 한다. 서버형 AI는 매달 일정 금액을 지불하는 구독 형태이기 때문에 단기간에는 큰 비용 부담이 없어 보일 수 있다. 반면, 온디바이스 AI는 초기에는 목돈을 들여 고사양 장비를 갖춰야 하므로, 시작 단계에서의 진입 비용이 다소 부담스럽게 느껴질 수 있다.

생성된 결과물을 공유하거나 협업하는 측면에서도 온디바이스 AI는 다소 불편한 점이 있다. 서버형 AI는 결과물을 링크로 간편하게 공유하거나 클라우드에 저장해 실시간으로 협업하는 것이 가능하지만, 온디바이스 AI는 결과물이 사용자의 로컬 기기 안에 머물기 때문에 활용 범위가 제한적이다. 특히 디자인, 영상, 이미지 생성처럼 여러 사람이 함께 작업하는 환경에서는, 로컬에 고립된 데이터가 오히려 협업의 장애물이 될 수 있다. 전문적인 창작 활동은 생성된 소스의 원활한 공유와 재사용이 기본이기 때문에, 온디바이스 중심의 고립된 작업 환경은 자칫하면 작업 효율 저하로 이어질 수 있다.

마지막으로, 온디바이스 AI의 또 다른 중요한 특성은 모든 작업 결과에 대한 책임이 전적으로 사용자에게 있다는 점이다. 온디바이스 AI는 외부 검열이나 콘텐츠 필터링이 없기 때문에, 성인물이나 저작권 침해 요소가 포함된 이미지도 얼마든지 생성할 수 있다. 그러나 이로 인해 법적 문제가 발생했을 경우, 책임은 플랫폼이 아닌 사용자에게 귀속된다. 서버형 AI는 일정 수준 이상의 콘텐츠 필터링 시스템을 통해 민감하거나 문제가 될 수 있는 생성물을 사전에 차단하지만, 온디바이스 AI는 자유로운 만큼 그에 따른 부담과 리스크도 사용자 몫이라는 점을 반드시 인지해야 한다.

결국 중요한 것은 온디바이스 AI와 서버형 AI를 상황에 맞게 적절히 혼용하는 전략이다. 텍스트 기반의 창작물이나 간단한 아이디어 스케치는 서버형 AI를 활용하고, 정밀한 커스터마이징이 요구되는 이미지나 영상 생성 작업은 온디바이스 AI를 기반으로 진행하는 방식이라면, 두 시스템의 장점을 극대화할 수 있다. 빠르고 간편한 접근성과 고품질 창작의 유연성, 그 두 가지를 균형 있게 조합하는 것이 오늘날 생성형 AI를 가장 똑똑하게 활용하는 방법이다.

Adobe가 쏘아올린 신호탄 

<이미지 출처 : 어도비 홈페이지>

솔직히 말해, 지금까지 생성형 온디바이스 AI 애플리케이션은 ChatGPT처럼 대중적으로 자리 잡은 사례가 거의 없었다. 진입 장벽이 높고, 소위 'AI 전문가들만 쓰는 어려운 툴'이라는 인식이 강해 일반 사용자에게는 다소 넘사벽 같은 존재였다. 그러나 최근 Adobe의 대표 애플리케이션인 Photoshop과 Premiere에 온디바이스 기반의 생성형 AI 기능이 본격적으로 업데이트되며 패러다임이 서서히 바뀌고 있다. 그동안 이들 프로그램의 일부 AI 기능은 Adobe 클라우드를 통해 처리되곤 했지만, 이번 업데이트에서는 텍스트 입력 기반의 생성 기능까지 로컬 GPU를 활용하도록 개선된 것이다.

이는 텍스트와는 달리 이미지나 영상처럼 용량이 크고 연산량이 많은 콘텐츠를 생성할 때, 클라우드 방식만으로는 데이터 트래픽과 처리 속도의 한계를 넘기 어렵기 때문에 선택한 전략으로 보인다. 무엇보다도 Photoshop과 Premiere는 이미 많은 일반 사용자들이 익숙하게 사용하는 애플리케이션인 만큼, 복잡한 설치나 코딩 지식 없이도 쉽게 온디바이스 AI 기능을 체험할 수 있는 가장 현실적인 진입로가 된 셈이다. 

▲ 로컬 GPU를 활용하는 Photoshop의 Neural Filter 기능 시연 영상

Photoshop에서 GPU가 쓰이는 대표적인 기능 중 하나는 Camera Raw 필터다. 노출, 색감, 톤 등을 조정할 때 수많은 픽셀 연산이 동시에 이루어지는데, 이 과정을 GPU가 가속함으로써 슬라이더를 움직일 때의 실시간 반응 속도나 렌더링 시간이 확연히 개선된다. 이미지 왜곡이나 회전 같은 변형 작업에서도 GPU는 중요한 역할을 한다. 사용자는 큰 이미지도 부드럽게 확대·축소하며 작업할 수 있고, 스마트 선명화 기능처럼 정교한 선명도 조정도 실시간 미리보기로 빠르게 확인할 수 있다.

보정, 편집 외에도 Adobe Sensei AI가 적용된 자동화 도구들에도 AI 기능이 적용되어 GPU 영향을 받게 되었다. 디자이너라면 누구나 치를 떠는 ‘피사체 선택’, 이른바 누끼를 따는 작업처럼 인물이나 객체를 자동 인식하는 기능은 그 정확도와 속도 모두 로컬 GPU 덕분에 향상되었고, 하늘을 자동으로 인식해 다른 이미지로 자연스럽게 바꿔주는 '하늘 바꾸기' 기능 역시 색조나 노출까지 자동으로 보정해주는 AI 알고리즘을 GPU 가속으로 빠르게 처리한다. 이 외에도 Neural Filters 계열 기능들은 딥러닝 기반 필터로, 얼굴 표정 변경, 나이 변형, 배경 흐림 효과까지 가능하게 해준다. 이 중 일부 필터는 클라우드 서버를 활용하지만, 많은 부분은 로컬 GPU에서 연산된다. GPU 성능이 높을수록 결과 미리보기가 빨라지고, 영상 렌더링 수준의 무거운 효과도 부드럽게 적용된다.

영상 편집 솔루션인 Adobe Premiere Pro에서는 로컬 GPU를 이용한 AI 기능이 더욱 돋보인다. 최근 업데이트된 AI 기반 자동 편집 기능에 적극 도입하고 있는데, 여기에도 GPU가 직접 관여한다. 타임라인을 드래그만해도 녹화가 끊긴 클립의 뒷 장면을 자동으로 생성해주는 Generative Extend, 영상 속 피사체의 움직임을 인식해 SNS 플랫폼에 맞게 화면 비율을 자동 조정해주는 Auto Reframe, 영상 파일 1개를 분석해 컷마다 자동으로 분할해주는 Scene Edit Detection 등 상당히 강력한 생성형 AI 기능들을 로컬 GPU를 통해 가속한다. 

다른 온디바이스 AI 애플리케이션은?

▲ AUTOMATIC1111 Web UI의 초기 화면

Adobe의 애플리케이션을 넘어, 현재 온디바이스 AI를 대표하는 모델로 가장 많이 언급되는 것은 단연 Stable Diffusion이다. 오픈소스 기반의 이미지 생성 모델로, 누구나 자유롭게 설치하고 수정할 수 있으며, 서버형 AI 툴인 Midjourney나 DALL·E와 견줄 만한 성능을 자랑한다. 이 Stable Diffusion 모델을 PC나 노트북에 설치해 사용할 수 있도록 도와주는 애플리케이션도 다양하게 존재한다. 그중 가장 널리 사용되는 프로그램은 AUTOMATIC1111 Web UI, 그리고 직관적인 노드 기반 구성으로 주목받는 ComfyUI도 인지도 면에서 높은 평가를 받고 있다.

▲ EasyDiffusion의 초기 화면

하지만 이들 애플리케이션은 설치 과정 자체가 상당한 진입장벽으로 작용한다. 특히 AUTOMATIC1111 Web UI나 ComfyUI는 설정 파일 구성, Python 환경 구축, 모델 다운로드 등 초보자에게는 다소 복잡하고 까다로운 단계를 요구하기 때문에, 일반 사용자가 쉽게 접근하기 어려운 편이다. 이를 보완하기 위해 등장한 것이 EasyDiffusion과 같은 애플리케이션이다. EasyDiffusion은 보다 범용 애플리케이션과 유사한 설치 방식을 제공해 진입장벽을 낮추고자 한다.

▲ ComfyUI의 워크플로우. 원하는 이미지를 얻기 위해 상당히 복잡한 단계를 거친다. 

다만, 설치는 간편해졌지만 프롬프트 처리 방식이나 하이퍼파라미터 입력 구조는 여전히 기존 온디바이스 AI 툴들과 유사하다. 따라서 사용자들은 종종 텍스트 기반 서버형 AI 모델(예: ChatGPT 등)을 활용해 적절한 영문 프롬프트를 생성한 뒤, 이를 온디바이스 툴에 입력하는 방식으로 작업을 진행하곤 한다.

또한 대부분의 온디바이스 이미지 생성 툴은 NVIDIA GPU의 CUDA 코어를 활용한 렌더링 구조에 최적화되어 있기 때문에, AMD 라데온 GPU 사용자들은 스트림 코어의 성능을 100% 활용하기 어려운 공통적인 한계점도 존재한다.

▲ LoRA 기술로 지브리 애니메이션의 스타일을 미리 학습시켜 이미지를 변환한 예

프롬프트 입력 방식뿐 아니라, 더 정교한 결과물을 만들어내기 위한 기술들도 빠르게 발전하고 있다. 그중 대표적인 것이 LoRA와 ControlNet이다. LoRA는 특정 스타일이나 인물을 학습시켜 생성 결과물에 반영하는 기술로, 특정 캐릭터나 유명인의 얼굴을 이미지에 반영하고자 할 때 유용하다. 반면 ControlNet은 포즈, 깊이, 윤곽선 등 구조적인 정보를 기반으로 이미지의 전체 구성을 제어할 수 있는 기능으로, 보다 정밀하고 구조화된 결과물 제작을 가능하게 한다. 다만, 이 두 기능을 제대로 활용하려면 어느 정도의 Python 활용 능력과 딥러닝 모델에 대한 이해가 요구된다. 결국 생성형 AI를 100% 활용하고자 한다면, 어느 정도의 학습과 기술 이해는 피할 수 없는 숙제라는 결론에 도달하게 된다.

AI를 얼마나 능숙하게 다루느냐의 싸움

▲ 얼굴 보정, 복원 전문 AI 툴 GFPGAN의 작업창

앞서 소개한 이미지 생성 AI 애플리케이션 외에도, 로컬 CPU를 활용하는 텍스트 생성(LLM) 앱인 LM Studio나 Ollama, 그리고 사진 복원을 위한 Real-ESRGAN, GFPGAN 등 온디바이스 리소스를 기반으로 작동하는 다양한 AI 애플리케이션들이 이미 셀 수 없이 개발되어 있다. 이처럼 수많은 툴과 엔진을 관통하는 핵심 키워드는 결국 ‘효율성’이다. 서버형이든 온디바이스형이든 각자의 장단점이 명확하게 갈리기 때문에, 사용자는 상황에 따라 이 두 가지 유형의 AI 툴을 얼마나 유연하고 전략적으로 혼용하느냐에 따라 AI 시대의 ‘실전 경쟁력’이 달라질 수 있다. 특히 온디바이스 AI 툴을 제대로 활용하려면 PC 사양이 뒷받침되어야 한다. CPU는 NPU(신경망 처리 장치) 탑재 여부를 반드시 확인해야 하며, GPU는 VRAM(비디오 메모리) 용량과 CUDA 코어 수가 충분한지를 체크해야 한다. 창작과 추론을 모두 병행하는 복합 작업 환경에서는 결국 고성능 시스템이 가장 강력한 무기가 될 수밖에 없다.

▲ AI generated image @Stable Diffusion Online

생성형 AI는 더 이상 ‘웹에서 간단히 써보는 기능’이 아니다. 본격적인 창작 도구로 자리잡기 위해서는 내 컴퓨터의 준비 상태부터 점검할 필요가 있다. AI가 내 안의 창의성을 끌어낼 수 있도록, 그 바탕이 되는 기기부터 점검해보는 것은 어떨까? 일단 그래픽 카드부터 업그레이드?

기획, 편집, 글 / 다나와 정도일 doil@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com