※생성 인공지능이 세계를 뜨겁게 달굽니다. 사람만큼, 더러는 사람보다 더 그림을 잘 그리고 글을 잘 쓰는 생성 인공지능. 생성 인공지능을 설치하고 활용하는 방법과 최신 소식을 매주 전합니다.

[IT동아 남시현 기자] 2023년쯤, 필자는 해외 출장이나 이동 시에도 원활하게 자료를 조사할 수 있도록 ‘키윅스’라는 소프트웨어를 활용했다. 키윅스는 특정 데이터베이스를 모두 저장하는 소프트웨어로 위키피디아나 스택 오버플로 등을 오프라인으로 이용할 때 쓰인다. 인터넷 접속이 불가능한 환경에서도 방대한 분량의 데이터를 쓸 수 있고, 별도의 비용도 들지 않는다. 챗GPT가 등장한 것은 그 해 9월의 일이다.

하지만 챗GPT가 등장했음에도 당장은 키윅스를 활용했었다. 우리가 일반적으로 활용하는 오픈AI의 챗GPT나 구글 제미나이, 앤스로픽의 클로드, 퍼플렉시티 등의 대형언어모델(LLM)은 기본적으로 온라인 서비스다. 웹페이지를 통해 해당 서비스에 접속한 뒤 질문하면, 질문 내용이 서버를 거쳐 처리된 뒤 돌아온다. 내 컴퓨터에서 처리되는 게 아니어서 인터넷 없이는 쓸 수 없다. 입력하는 문서나 개인정보 등을 수집하는 것도 단점이다.

오프라인·무료 LLM 기능 제공하는 ‘LM스튜디오’

2025년 현재, 기자는 더 이상 키윅스를 쓰지 않고 LM스튜디오를 사용한다. LM스튜디오는 2024년 0.2.14 버전 공개를 시작으로 대중에 알려졌으며, 최신 버전은 0.3.15 버전이다. 운영체제는 윈도우와 맥OS, 리눅스 운영체제를 지원한다. 사용자는 LM스튜디오 홈페이지를 방문해 무료로 LM스튜디오를 다운로드하고 본인이 원하는 LLM 모델을 설치하면 오프라인으로 대화형 생성 AI를 쓸 수 있다.

현재 사용할 수 있는 모델은 알리바바의 큐웬(Qwen)3 0.6B, 1.7B, 4B나 구글 젬마(Gemma) 1B, 4B, 12B QAT, 딥시크 R1 7B, Llama 3.1 8B 같은 작은 모델부터 큐웬 30B, 235B, 라마 3.3 70B 같은 중대형 LLM 모델까지 선택할 수 있다. 1B 단위는 10억 개의 매개변수를 의미하며, 70B나 235B처럼 매개변수가 700억 개에서 2350억 개 수준으로 많을수록 자세하고 높은 정확도를 제공한다. 이외에도 스테이블 디퓨전용 스테이블 코드나 코히어 커맨드 R v0.1 4비트, 파이 3 미니 4K 등 특수 기능 및 추론을 위한 개발자용 모델도 제공된다.

처음 LM스튜디오를 설치하면 2025년 5월 기준으로는 딥시크 R1 모델 설치를 추천한다. 바로 서비스를 활용하고 싶다면 ‘Get your first LLM’을 눌러 해당 서비스를 설치하고, 다른 모델을 쓰고 싶다면 상단의 ‘Skip onboarding’을 선택하면 바로 메인 화면으로 넘어간다.

LM스튜디오는 LLM 모델이 구동하는데 필요한 모든 데이터를 다운로드해서 쓴다. 저장 공간도 소형 모델은 1.5~5GB 내외지만, 대형 모델은 40~120GB가 필요하다. 또한 저장된 데이터 내에서만 답할 수 있으며 모델이 학습된 시기까지의 정보만 찾을 수 있다. 정확한 대답을 원할수록 최신 모델의 대형 모델을 사용하는 것이 좋다. 모델 구동 시 최소 16GB의 시스템 메모리가 권장되며, CPU와 GPU가 빠를수록 처리하는 속도도 빠르다.

인터넷 연결 없이 쓸 수 있다는 점 하나만으로 매력적이다 / 출처=IT동아

활용 방법은 챗GPT와 동일하다. 상단의 연보라색 창에서 다운로드한 LLM 모델을 선택한 뒤, 하단의 ‘Type a message and press Enter to send …’에 명령어를 입력한다. 영문 서비스에 영문 모델을 활용하지만 모델에 따라서 한국어를 써도 인식한다. 메타 Llama의 경우 한국어 입력과 명령을 지원하고 한글 문서를 번역하거나 요약할 수 있다.

LM스튜디오에 메타 Llama-3.1-8B-instruct 모델을 설치해 활용했다. 일반 LLM처럼 백과사전 형태로 내용을 질문해도 되고, PDF 파일 등을 제공하고 요약이나 검색할 수 있다. 해당 모델은 2023년 12월까지 학습돼 트럼프 대통령 당선이나 인도-파키스탄 분쟁처럼 2024년 이후 소식을 물어보면 답변을 못한다. 최신 학술 정보 등을 다뤄야 한다면 모델의 학습 시기도 고려해서 받아야 한다. 개발자라면 LLM을 독자 개발하거나 허깅페이스 등에서 새로 출시된 모델을 다운로드하는 용도로도 쓸 수 있다.

PC 성능 영향 크고, 배터리 소모 적지않아

LM스튜디오의 가장 큰 장점은 무제한, 무료 LLM 사용이다. 하지만 서버에서 자원을 끌어다 쓰는 일반 LLM과 달리, 메모리와 CPU, GPU 성능에 따른 속도 차이가 크다. 예를 들어 인텔 코어 울트라 시리즈 2 7 258V 16GB 탑재 모델 노트북으로 두 장 짜리 PDF 파일의 번역했을 때 걸린 시간은 약 30초였다. 소형 모델인 만큼 도표를 별도로 정리하는 등의 기능은 없었다. 같은 문서를 구글 제미나이 2.0 플래시에 입력했을 때 소요된 시간은 7초 남짓이었고, 정확한 내용과 도표 정리까지 이뤄졌다.

즉 LM스튜디오는 구형 저사양 노트북으로는 쓰기 어렵다. 연산 처리량이 상당하기 때문에 배터리도 더 빨리 소모된다. 서버로 연결해서 사용하는 LLM은 네트워크만 받아오기 때문에 컴퓨터 성능이나 배터리 소모 걱정이 적다. 원활하게 사용하려면 최소한 엔비디아 RTX 20 시리즈 이상 외장 그래픽을 탑재한 노트북이 권장되며, 업무용 노트북이라면 인텔 코어 울트라 시리즈 1 및 AMD 라이젠 AI 5 이상의 최신 프로세서 탑재 제품이 좋다.

보안 환경, 무제한 이용 누리고 싶다면 추천

LM스튜디오는 서버와 소통하는 일반 LLM과 달리 데이터를 모두 저장한다. 즉 인터넷을 연결할 수 없는 보안 환경에서도 데이터 유출 걱정 없이 쓸 수 있다. 모르는 것을 물어보거나 파일을 축약하고, 문장을 번역하는 등의 보편적인 LLM 사용부터 개발자용 코딩 등의 용도로 쓰기 좋다. 최신 버전을 기준으로 이미지는 인식하지 못하며, 이미지 생성도 할 수 없다. 자료의 출처도 확인할 수 없으며 데이터가 부족하면 거짓말을 하기도 한다.

컴퓨터 성능에 따른 영향이나 이미지 인식이 안된다는 단점은 있지만, 인터넷 연결 없이 무료로 쓸 수 있다는 점 하나가 모든 단점을 상쇄한다. 무료로 최신 버전을 쓸 수 있고, 질문 횟수 등도 제약이 없다. 모델에 따라 토큰 제한이 걸릴 수 있지만 사소한 문제다. 온디바이스 AI라는 콘셉트에 맞게 인터넷 연결 없이도 대화형 생성AI를 사용하고 싶다면 지금 설치해 보자.

IT동아 남시현 기자 (sh@itdonga.com)