내 PC에 로컬 AI 구축하기 1편

로컬 AI 서버 설치

대세 오브 대세 AI 서비스

일상생활에서 AI 서비스가 대중화되면서 이전과 다른 모습을 보여줍니다. 스마트폰 또는 PC만 있다면 직접 자료를 찾지 않아도 내가 원하는 정보를 빠르고 정확하게 찾아줘 상황에 맞게 활용할 수 있습니다.

프리젠테이션, 스프레드시트를 사용하지 않아도 내가 원하는 자료를 손쉽게 만들어주는 건 물론 수백 장이 넘는 문서 파일을 보기 좋게 요약해주는 만큼 직장인들의 입장에선 업무 효율을 높이는데 더할 나위 없습니다.

단, 쉽고 간편하게 사용할 수 있어 편하긴 하지만 보안상 문제가 있는 자료를 활용할 때 불편함이 있습니다. 예를 들어 제품 개발 관련 기술문서라든지, 프로그램 개발 시 자료가 노출되면 여러모로 문제가 되기 때문입니다.

보안상 문제로 나만의 로컬 AI 서버를 구축하여 활용하는 분들이 늘어나는 추세입니다. 사용하는 용도 및 환경에 맞춰 고사양 데스크탑부터 미니PC까지 다양한 시스템에 반영할 수 있는 점이 특징입니다.

오늘 시간엔 내 PC에 로컬 AI 서버 구축하기에 대한 내용으로 AI 서버 구축 방법에 대해 소개하려고 합니다. 어떻게 하면 나에게 맞는 서버를 구축할 수 있는지, 구축 시 필요한 요소는 무엇이 있는지 알아보겠습니다.

1. 로컬 AI 서버 구축을 위한 PC 선택

로컬 AI 서버를 구축할 때 가장 중요하게 생각할 부분은 AI를 활용한 분야입니다. 자료 정리 및 수집, 분석 위주로 포지션을 맞춘다면 미니PC로 충분하지만 생성형 이미지 또는 영상을 제작한다면 게이밍 데스크탑 수준의 고사양 PC가 필요합니다.

평소 데이터 분석, 자료 정리, 문서 제작, HW 및 SW 개발 업무 관련하여 AI 서비스를 주로 이용하는 만큼 AI 서버 구축을 위해 미니 PC를 선택했습니다.

선택한 미니PC는 사무용 겸 AI 서버로 사용하기에 가성비가 괜찮은 GMKtec M8입니다. 상세 사양을 살펴보면 CPU는 AMD 라이젠5 PRO 6650H, 메모리는 16GB LPDDR5-6400, 듀얼 2.5GB LAN 포함 Wi-Fi 6E 및 블루투스, M.2 2280 NVMe SSD 슬롯을 2개 지원합니다.

외장 eGPU를 연결할 수 있도록 Oculink 포트를 지원하는 만큼 문서 제작, 생성은 물론 생성형 이미지를 제작할 때 고성능 그래픽카드 연결 용으로 손색없는 모습을 보여줍니다.

GMKtec M8은 일반적인 미니PC와 다르게 LPDDR5 16GB RAM이 온보드 형태로 장착되어 있습니다. 별도 RAM 추가 없이 SSD만 장착하면 됩니다.

SSD 장착 시 1TB 모델을 권장하는 이유는 OS 설치부터 다양한 AI 모델을 설치 및 데이터 보관, 백업 시 공간 활용 측면에서 여유 있기 때문입니다. 로컬 AI 서버의 경우 하나의 모델만 설치하는 게 아니라 다양한 모델을 설치해야 하기 때문에 최소 1TB 이상의 SSD를 사용하는 걸 추천합니다.

2. 로컬 AI 서버에 맞는 OS 선택

서버 구축을 위해선 미니PC에 OS를 설치할 때 대중적인 윈도우 또는 서버 구축과 관리에 좋은 리눅스 중 하나를 선택해야 합니다. 어떤 OS가 좋을지 로컬 AI 서버에 구축할 미니PC에 윈도우와 리눅스 계열인 우분투 서버, 우분투 데스크탑을 설치해 보았습니다.

3가지 OS를 설치해서 일정 기간 운영해 보고 결론을 내리면 우분투 데스크탑 버전이 가장 좋았습니다. 서버 활용 측면에서 다양한 기능을 지원하며 GUI 환경이라서 개발과 실험 시 내가 원하는 부분을 자연스럽게 반영할 수 있었기 때문입니다.

익숙한 환경에서 나만의 서버를 만들고 싶다면 윈도우 선택, 서버 운영에 최적화하면서 관리 측면에서 편리함을 더하고 싶다면 우분투를 선택하면 됩니다.

초보자 입장에서는 윈도우가 베스트이긴 하지만 시스템 자원 활용 측면과 관리 측면을 고려하면 서버에 적합하지 않습니다. 서버 + 일반 업무 부분에서 활용성이 뛰어나긴 하지만 서버 활용 측면에서 백그라운드 자원 사용이 생각보다 높아서 주기적으로 재부팅과 같은 장시간 운영에 불필요한 요소가 많습니다. 사용하는 자원이 많다 보니 고사양이 필수이며 별도 라이선스 구입이라는 변수가 있습니다.

반면, 우분투의 경우 무료로 배포되고 있어 설치 + 접근성이 뛰어나지만 서버 버전과 데스크탑 버전의 차이가 확연하게 드러납니다. 서버 버전의 경우 불필요한 GUI 옵션이 없고 사용하는 자원이 가장 적어서 24시간 서버로 사용하기 베스트입니다. 단, 터미널 환경에서 기능 구현을 해야 하기 때문에 리눅스에 대한 전문 지식이 있는 분들에게 적합합니다.

우분투 데스크탑 버전은 서버 버전과 윈도우에서의 장점을 종합한 OS라고 할 수 있습니다. GUI 환경 지원으로 접근성이 우수하며 서버 기능을 다양하게 활용하면서 사용하는 자원이 크지 않아 장시간 사용에 편리합니다. AI 서버를 구축하면서 학습, 개발 그리고 업무까지 활용할 수 있는 부분을 고려한다면 우분투 데스크탑 버전을 추천합니다.

리눅스 중 접근하기 가장 좋은 제품군을 선택하면 우분투이며 GUI 환경을 지원하는 데스크탑 버전을 사용하면 구축하는데 어려움 없습니다. 리눅스 명령어, 터미널 활용에 익숙하면서 시스템 자원을 최소한으로 사용하고 싶다면 우분투 서버를 설치하는 걸 추천합니다.

제가 선택한 OS는 우분투 26.04.1 LTS 데스크탑 버전이며 우분투 공식 홈페이지에서 다운로드할 수 있습니다.

우분투 데스크탑 버전은 윈도우처럼 GUI를 지원하기 때문에 순서에 따라 하나씩 선택하여 설치하면 됩니다. 한국어를 지원하긴 하지만 기능 선택, 터미널 활용 측면을 고려하면 기본 언어를 영어로 선택해서 하는 걸 추천합니다.

만약, 한국어가 필요하다면 모든 설치가 끝난 후 언어 추가 기능을 통해 한국어를 추가하면 됩니다.

윈도우의 경우 로컬 환경에서 사용자 이름만 기입하면 설치할 수 있는 반면 우분투의 경우 이름 + 비밀번호가 필수입니다. 이름을 지정할 때 익숙한 이름 또는 외우기 쉬운 이름으로 선택하는 걸 추천합니다.

설치 옵션과 생성할 계정 정보 기입을 완료했다면 내가 선택한 옵션에 대한 리뷰를 확인합니다. 해당 항목에서 특이사항이 없다면 INSTALL 버튼을 눌러 설치를 진행합니다.

3. 로컬 AI 서버 플랫폼 구성

로컬 AI 서버 구축을 위해 미니PC에 우분투 26.04.1 LTS 데스크탑 버전을 설치했다면 그다음으로 AI 모델을 활용하기 위한 플랫폼을 구성해야 합니다.

필요한 요소를 소개한다면 AI 모델 실행 엔진 역할을 담당하는 Ollama, 컨테이너 실행 및 관리를 위한 Docker, 웹 기반 AI 사용자 화면인 Open WebUI가 필요합니다.

3가지 플랫폼이 어떤 방식으로 동작되는지 위의 이미지를 참고하시면 됩니다. AI 모델 실행 엔진인 Ollama만 설치하면 ChatGPT, 클로드와 인터페이스로 사용하는 게 불가능합니다.

웹 기반으로 편하게 접속하여 ChatGPT, 클로드처럼 사용하기 위해선 사용자 인터페이스 형태로 전환해 주는 Open WebUI와 해당 프로그램 실행하고 관리하는 Docker가 필수적입니다.

4. 로컬 AI 서버 플랫폼 설치방법

윈도우의 경우 필요한 프로그램을 다운로드해서 실행 및 설치하면 완료되지만 리눅스의 경우 터미널에서 필요한 요소를 기입하여 다운로드 및 설치해야 합니다.

CTRL + ALT + T 키를 눌러 터미널을 실행합니다. 해당 화면에서 업데이트 명령어와 업그레이드 명령어를 실행하여 우분투 상태를 최신으로 만들어준 다음 시스템을 재부팅합니다.

우분투를 최신 상태로 만들어준 다음 AI 모델 실행 엔진인 Ollama를 설치합니다. 윈도우와 다르게 우분투의 경우 터미널에서 명령어를 기입해서 설치해야 하는 점 참고하시기 바랍니다.

AI 모델 실행 엔진인 Ollama를 설치했다면 다음 순서로 Docker를 설치합니다. 패키지 설치와 GPG 키와 apt 소스를 지정해야 하기 때문에 Docker 홈페이지에 안내된 내용을 바탕으로 터미널에 기입하면 됩니다.

우분투 데스크탑 버전의 경우 웹 브라우저를 실행한 상태에서 바로 적용이 가능하여 초보자도 설치하는데 어려움이 없습니다. 설치 완료 후 서비스가 정상적으로 동작되는지 확인합니다.

Docker 공식 홈페이지 설치 안내 : https://docs.docker.com/engine/install/ubuntu/

Docker 패키지 설치가 완료되었다면 웹 기반 사용자 인터페이스로 AI 모델을 사용할 수 있게 만들어주는 Open WebUI를 설치합니다. 앞선 Ollama와 Docker 패키지 설치와 동일하게 터미널에 명령어를 기입해야 합니다.

로컬 AI 서버에 구축에 필요한 플랫폼을 모두 설치했다면 자체 접속을 통해 동작 여부를 확인합니다. 웹 브라우저를 실행한 다음 http://localhost:3000을 입력하면 됩니다.

입력하면 Welcome to your AI home 안내와 함께 ChatGPT 와 같은 사용자 인터페이스가 실행됩니다.

초보자도 할 수 있는 로컬 AI 구축

내 PC에 로컬 AI 서버 구축하기 1편인 로컬 AI 서버 구축에 필요한 OS 설치 및 플랫폼 설치에 대해 살펴봤습니다. 일반적으로 많이 사용되는 윈도우가 아닌 리눅스 계열인 우분투를 사용하여 낯선 분들이 있을 겁니다.

하지만 장기적으로 봤을 때 서버 구축, 운영, 관리 측면에서 가장 효율적이기 때문에 조금의 불편함이 있어도 우분투가 베스트입니다. 서버보다는 데스크탑이 GUI 환경 지원이라 실사용하는데 어렵지 않습니다.

이후 시리즈에서는 로컬 AI 모델의 설치방법과 로컬 AI 모델에 대한 사용 후기 및 추천 모델을 소개하려고 합니다. 앞으로 이어질 후기를 기대해 주시기 바랍니다.