시대에 뒤떨어지지 않기 위해 이제라도 AI를 최대한 써보려고 요새 노력 중입니다. 그 과정에서 느낀 것은 AI는 상당히 멍청하며 그 한계도 뚜렷하다는 겁니다. 커뮤니티 게시판에서 AI로 딸깍 해서 이런것도, 저런것도 해봤다고 은근히 뿌듯해 하며 글을 쓰던 사람이 이제와서 이게 무슨 소리냐고요? 

좀 더 구체적으로 반성해 볼까요? 얼마 전 MSI 조립 행사 때는 사진에 모자이크 처리하기 귀찮다고 AI에 다 던져서 돌리고 감수만 했고요. 이제는 구글에 검색하기 전에 AI에 질문하는 게 훨씬 편해졌습니다. 한/영 전환을 안하고 rlrmfgkemdnpdj라고 오타를 내도 잘 알아먹고, 정확한 단어를 제시할 필요도 없이 대충 휘갈기면 알아서 찾아주더라고요. 심지어는 제 능력 밖의 일도 해줍니다. 다나와에 뉴스/리뷰 발행하는 xml 파일 자동 생성부터, 그래프를 만들어 주는 html 툴을 뽑아냈고요. 오늘은 뉴스 포스팅에 쓸 이미지를 자동으로 저장해주는 크롬 익스텐션까지 만들어 달라고 해서 쓰고 있네요. 

물론 이런 것들이야 사람한테 맡겨도 곧잘 해줄 겁니다. 하지만 훨씬 비싸고, 훨씬 오래 걸리고, 훨씬 번거롭겠죠. 새벽 3시에 잠이 안와서 굴러다니다가 갑자기 기똥찬 아이디어가 떠올라 AI에게 '이거저거 해 줘'라고 시킬 수는 있어도, 사람한테 그렇게 오더를 넣는 건 재벌이나 개인 비서를 둔 대기업 CEO나 가능한 일이겠고요. 위에서 예시를 든 작업들만 하더라도 웹을 잘 아는 사람, 디자인을 다룰 줄 아는 사람 등 분야별로 다른 사람들이 필요할테고, 그걸 다 쓰자면 AI 한 달 구독료 정도로는 어림도 없는 돈이 들겠지만 AI는 하나의 모델로 모든 일을 다 처리하는 멀티모달로 진화한지 오래입니다. 예전에는 글, 이미지, 영상에 최적화된 AI 모델이 따로 있었다면 이제는 모델 하나가 이것도 저것도 다 하는 게 대세지요. 

이렇게 AI를 적극 활용하고 있고, 바탕화면 상단 좌측을 코덱스 지정석으로 정해 뒀지만 그럼에도 불구하고 AI는 여전히 한계가 있다고 주장하고 싶습니다. 엄밀히 말하면 지금처럼 AI를 쓰는 건 한계가 있다는 소리입니다. 위에서 썼던 대로 사람 얼굴에 모자이크를 넣는 걸 성공적으로 처리하고 나니, 이제는 이미지 작업을 아예 맡겨도 되겠다 싶어서 카메라로 찍은 제품 사진들을 몽땅 집어넣고 배경을 하얗게 지워달라고 했거든요. 그랬더니 바로 사용 한도에 도달했다며 추가 요금을 내서 초기화를 하라고 요구하더라고요. 그리고 프라이버시를 지키기 위해 사람 얼굴에 모자이크를 넣는 건데, 이걸 인터넷을 통해 AI 서버에 보낸다면 과연 모자이크의 의미가 있는건가 의문도 들었습니다. 이렇게 보낸 사진이 오픈AI의 연구소 안에서 학습용으로 열심히 굴러가고 있을지 또 모르는 일 아니겠습니까? 샘 알트만이 일하는 걸 보면 충분히 가능성이 있지 않을까요? 

이렇게 AI를 쓰면 쓸수록, 그 편리함에 감탄하면 할수록, 느끼게 되는 한계와 아쉬움과 문제도 명확해지다보니 다른 데로 눈을 돌리게 되는데요. 바로 로컬 AI입니다. 기글하드웨어의 수많은 고수분들은 진작부터 로컬에서 AI 모델을 직접 실행해서 아주 잘 활용하고 계시며, 새로운 모델이 나올 때마다 찍먹해보고 이게 좋다 저게 아쉽다 평하고 계시고요. 요즘처럼 램값이 미쳐 날뛰는 상황에서, AI를 어떻게 해야 로컬에서 잘 굴릴 수 있을지 하드웨어 구축에 대한 심도 깊은 고민을 하고 계시던데요. 처음에는 그런 반응들이 그냥 '커뮤니티에 올라오는 글 1' 정도로 보였지만, AI를 직접 써 보니 그런 쪽으로 관심이 가지 않을 수가 없더라고요.

그래서 이제 나도 로컬에서 AI를 좀 찍먹해 봐야겠다 싶어서 이것저것 알아보니 성능에 영향을 주는 요소들이 몇 가지 있더라고요. 우선 메모리입니다. 모델을 불러와서 실행하려면 그에 상응하는 용량의 메모리가 필요하죠. 그래픽카드에 탑재된 다수의 여러 코어를 병렬로 실행해 AI를 굴리는 게 아직까진 대세다보니, 당연히 비디오 메모리의 용량이 중요하지만 시스템 메모리도 어느 정도는 확보를 해야 합니다. 이 메모리의 용량이 적으면 아예 큰 모델을 불러올 수가 없게 됩니다. 

그리고 이렇게 불러온 모델을 처리하는 속도가 있습니다. 대규모 모델을 생성하는 속도는 토큰을 단위로 쓰고요. 대화나 데이터를 저장할 수 있는 용량은 컨텍스트 윈도우라고 합니다. 이게 크면 클수록 대량의 데이터를 한 번에 불러들여 처리할 수 있지만, 너무 길어지면 앞 부분을 까먹기도 하고요. 당연히 처리 시간에도 영향을 주고 메모리 사용량도 늘어나니 마냥 길게 할 수는 없습니다. 그리고 컨텍스트는 하나의 대화에서만 사용하는 단기 기억이지, 모델을 새로 업데이트하는 것이 아니라는 점도 유념할 필요가 있습니다.

그렇게 만든 대답이 나오기까지 걸리는 시간인 TTFT는 ms 단위로 측정합니다. 단순 GPU의 연산 성능은 플롭스로, AI에 특하된 연산 성능은 TOPS로 계산합니다. 이런 성능은 연산 정밀도에 따라 제각각인데, 높은 정밀도가 필요하지 않은 상황에서는 정밀도를 낮춰서 처리 속도를 높이는 양자화(압축) 과정이 들어가기도 합니다. 또 메모리 대역폭도 중요한데요. 로컬 LLM에서 토큰을 만들 때는 모델의 가중치를 반복해서 불러오기에 GPU의 연산 성능 이상으로 메모리 대역폭이 큰 역할을 차지하게 됩니다. 

아직 제대로 된 AI 운영은 시작도 안했는데 어려운 단어와 개념들이 쏟아지니, 로컬이고 나발이고 모르겠고 그냥 원래 쓰던 클라우드 방식의 AI나 써야겠다며 의욕이 떨어졌다? 정상적인 반응입니다. 아직까지는 모든 사람이 모든 상황에서 굳이 로컬 AI를 구축해서 써야 할 이유는 없습니다. 투자 대비 효율이 썩 효율적이라고 말하기가 어렵거든요. 그래서 둘 중 하나를 고르고 나머지를 손절하기보다는, 두 가지를 필요에 따라서 함께 섞어 쓰는 것이 가장 효율적인 방법일 것입니다. 클라우드로 보내서 처리하기에는 위험하거나, 대량의 데이터를 계속해서 반복 수행하는 작업은 로컬에서 꾸준히 처리하고요. 처리 난이도가 높아서 최신 모델의 힘을 빌려야 하는 것은 검증된 대형 모델을 클라우드에서 쓰는 것이죠.

로컬 AI가 어쩌고 저쩌고 하길래 무슨 로컬 AI 모델이 좋다고 추천이라도 할 것 같더니, 시작하기도 전에 뭐가 참 길었죠. 로컬 AI를 위한 LLM은 지금 이순간에도 계속해서 발전하고 새로운 모델이 나오고 있기에, 여기서 뭐가 좋다고 딱 찍어서 말하더라도 상황에 따라서는 그게 전혀 맞지 않을 수도 있고요. 설령 제대로 추천했다고 한들 당장 내일이면 구닥다리가 된다 해도 전혀 이상할 것이 없습니다. 그래도 굳이 추천을 해보자면 Qwen과 Gemma 4를 꼽을 수가 있겠네요.

Qwen은 중국 알리바바에서 개발한 모델로, 남들이 만들어오면 슬쩍 위치를 이동시켜서(전문용어로 긴빠이라고 하죠) 잘 써먹는 기술이 탁월한 중국답게, 다국어 지원부터 다각종 추론에 강하고 이미지와 영상 이해까지 가능하다는 평가를 받고 있습니다. 공산당이 어쩌고 저쩌고 하기 전에 일단 중국이라서 찝찝한 감을 피할 수 없다면 Gemma가 좋은 대안입니다. 믿고 쓰는 구글 딥마인드에서 만든 모델로 작은 크기에서도 성능이 잘 뽑히며 이것도 다양한 모델을 다루는 능력을 갖췄습니다. 

다만 이렇게만 써두면 전혀 도움이 되지 않는 것이, 버전이나 모델 규모에 따라서 또 천차만별이거든요. 최신 대용량 모델을 쓰면 무조건 좋은 것 아니냐고 하실 수도 있겠지만, 앞서 말한대로 그걸 올릴 비디오 메모리 용량이 확보되지 않는다면 아무런 의미가 없습니다. 그래서 16GB 메모리가 탑재된 메인스트림급 그래픽카드에선 Qwen 3.5 9B와 Gemma 4 26B처럼 크기가 상대적으로 작은 모델을 써서 일상 작업에 활용하고요. 다양한 데이터를 직접 검색하고 이를 토대로 로컬에서 답변하는 온프레미스 RAG를 비롯한 복잡한 작업을 하겠다면 32GB 비디오 메모리를 갖춘 그래픽카드에서 Qwen 3.6 36B나 Gemma 4 31B 같은 대형 모델을 운용하는 방법이 있겠습니다. 

그럼 모델 말고 하드웨어는 뭘 골라야 할까요? 요새 나오는 하드웨어들은 개나소나말이나 AI를 지원한다고 떠들고 있지만 윈도우 코파일럿+ PC의 기준을 간신히 충족하는 시스템으로 본격적인 LLM을 구동하는 건 애시당초 불가능하고요. 요새 가장 각광받는 물건이라면 역시 통합 메모리 구조를 도입한 시스템 되겠습니다. AMD 스트릭스 헤일로나 NVIDIA DGX 스파크가 대표적인 제품이죠. 시스템과 비디오 메모리가 따로 나뉘어진 게 아니라 하나로 합쳐져 있어서 통합 메모리라고 하고요. 기본적으로 달려 있는 메모리 용량이 많다보니 큰 모델을 실행하기 쉽고, CPU와 GPU가 하나의 메모리를 함께 쓰니 데이터를 복사할 필요가 없어져 처리 효율이 좋습니다. 

스트릭스 헤일로의 경우 한 가지 알아두면 좋을 부분이 있는데요. 특정 환경/조합에서는 AMD의 공식 드라이버인 ROCm보다 벌칸/RADV 같은 오픈소스 드라이버가 더 성능이 잘 뽑히는 경우도 있습니다. AMD가 일을 안 해서 그런 건 아니고, ROCm이 파이토치나 대규모 행렬 연산에 중점을 두고 만들어졌다보니, llama.cpp처럼 작은 배치 토큰을 만들 때에는 벌칸이나 RADV가 더 유리하게 작용하기도 합니다. 그러니 용도에 맞는 걸 골라서 쓰면 되겠습니다. 

물론 이런 통합 메모리 시스템이 아무나 쓸 만한 물건은 아닙니다. 비싸거든요. 단위가 몇 백이 아니라 천만 원에 육박하는 것들이죠. 그래서 대용량 모델을 꼭 써야 하거나, 내가 이걸로 돈을 벌 수 있는 확실한 방법이 있다고 자부하거나, 아니면 그냥 돈이 많은 상황에서나 등장할 만한 것들이고요. 그렇지 않다면, 모델의 용량 욕심은 내지 않고 27~35B 급 모델을 그냥 빠르게 처리해 주길 원한다면 라데온 AI 프로 R9700이 있습니다. 4096개의 코어와 더불어 32GB의 대용량 메모리를 탑재해서 INT4 기준 최고 1531 TOPS의 성능을 내 주는 물건입니다. 

이런 그래픽카드를 활용해 로컬에서 LLM을 처리할 시스템을 구축한다면 CPU는 당연히 라이젠 X3D입니다. 커뮤니티 게시판에 올라온 글을 보니까 게임회사 사장님이라는 분조차 'X3D? 그거 게이밍 전용 CPU 아니냐?' 이러면서 굳이 일반 CPU를 골랐다는 썰이 있던데요. 라이젠 X3D 프로세서의 본질은 '게임에 특별하게 최적화된 CPU'가 아니라 '대용량 캐시 메모리가 탑재된 CPU'입니다. 게임이 아닌 다른 작업에서도 다른 CPU와 똑같은 수준의 성능을 제공하고요. 그 대용량 캐시를 잘 써먹는 작업이 게임이라서 게이밍 CPU로 유명해졌을 뿐이지, 용도가 그것 하나로 고정된 것이 아닙니다. 그리고 최근 들어 이 대용량 캐시빨을 잘 받는 분야로 새로 발견된 영역이 있으니 바로 AI입니다. 

그냥 뭉뚱그려서 AI는 아니고요. 좀 더 구체적으로 말하면 온프레미스 RAG AI입니다. LLM은 '대규모'라는 이름답게 방대한 양의 학습된 데이터를 지닌 모델이지만, 그래봤자 학습된 시점이 과거일 수 밖에 없습니다. 새로운 정보가 나올 때마다 모델을 새로 학습한다면 매일 매일도 아니고 매 시간마다 모델을 만들어도 부족하겠지요. 그래서 부족한 정보는 인터넷에 검색해서 단점을 보완하는 RAG(Retrieval-Augmented Generation)가 자연스럽게 등장하게 됩니다. 로컬에 설치한 AI가 아니더라도, 챗GPT나 코덱스에게 뭐 질문하면 '어디어디를 검색 중'이라고 보여주니, 검색은 지극히 당연한 행위라 할 수 있겠지요.

그리고 이런 검색 작업은 CPU의 몫입니다. AI를 굴리는 모델 자체는 그래픽카드와 거기에 탑재된 메모리의 지분이 크지만, 이를 뒷받침하는 주변 작업들은 CPU와 시스템 메모리가 처리합니다. 그래서 대용량 3D V 캐시가 탑재된 라이젠 X3D 시리즈가 유리할 수밖에 없습니다. 이건 단순히 캐시가 크니까 결과도 좋을 것이라는 추측이 아니며, 이미 벤치마크를 통해 증명된 바 있습니다. 현재 데스크탑 프로세서 중 가장 많은 용량의 캐시 메모리를 지닌 라이젠 9 99503D2 듀얼 에디션이 단연코 압도적인 결과를 자랑하고 있고요. 고성능 게이밍 프로세서의 대표주자인 라이젠 7 9800X3D 역시 3D V 캐시가 탑재된 모델답게, 경쟁사의 CPU에 비해 월등한 성능을 보여주고 있습니다. 

시기각각 변화하는 AI 업계에서는 하나의 선택만 고집하지 말고, 기술의 발전에 따라 최적의 선택을 해야 합니다. 어떤 AI LLM 모델이 좋다고 해서 그걸 골라도, 나중에 더 좋은 모델이 나온다면 과감하게 갈아 타야죠. 아무리 초기 셋팅이 귀찮고 적응하는데 시간이 걸려도 말입니다. 저만 하더라도 로컬 LLM은 아니지만 처음에 크롬 브라우저에서 바로 실행할 수 있는 제미나이가 편하다는 이유로 쓰기 시작했다가, 제미나이의 응답 수준이 갈수록 떨어져서 챗GPT로 옮겨갔고요. 나중에는 코덱스도 설치하고 지금은 유료 결재까지 하고 있습니다. '브라우저에서 바로 쓰는' 처음 의도와는 완전히 달라졌지만, 그만큼 양질의 데이터와 수준 높은 작업을 처리하고 있으니 불만은 없습니다. 

마찬가지 이유에서 LLM을 구축할 시스템도 유연성을 확보할 필요가 있습니다. 맥 미니나 DGX 스파크 같은 제품들이 가성비가 좋다느니(지금은 아닌 것 같지만) 성능이 좋다는 이유로 인기가 높았는데요. 그게 지금 성능이 좋다는 거지 나중에 상황이 달라진다면 평가는 또 바뀔 수 있습니다. AI 모델만 하더라도 계속해서 메모리 요구량을 줄이는 최적화가 진행되고 있고, GPU가 아니라 CPU 위주의 연산으로도 괜찮은 성능을 뽑아낸다는 모델도 등장하고 있습니다. 이처럼 앞으로 기술이 어떻게 발전할지 모르는데 고정된 하드웨어에 얽메였다가는 시대의 변화에 뒤쳐질 수도 있습니다.

그렇기에 원하는 부품을 직접 골라 조합할 수 있는 조립 PC는 매력적인 선택지입니다. 대표적인 컨슈머 제품인 맥 미니 같은 제품만 하더라도 메모리와 스토리지 구성을 맞춰서 고정된 가격을 지불해야 하고요. 나중에 주머니 사정이 나아졌다고 해서 업그레이드라도 할라치면 기판에 붙어있는 칩을 떼서 붙일 수 없으니 결국은 쓰던 걸 팔고 다른 걸 살 수밖에 없는데요. 직접 조립해서 쓰는 시스템은 일단은 가벼운 주머니 사정에 맞춰서 단촐하게 시작해도 나중에 업그레이드를 할 수 있는 가능성을 제공하거든요.

CPU의 경우 앞서 말한대로 라이젠 9000X3D가 추천할만한 제품입니다. 대용량 L3 캐시 빨을 받을만한 여지가 있고요. 게임이 아닌 일반 연산 성능도 뒤쳐지지 않고요. 그리고 게임에서는 최고의 퍼포먼스를 보여주니, 현 시점에서 진정한 올라운더 CPU라 할 수 있습니다. 그래픽카드에서 가장 중요한 건 역시 비디오 메모리 용량이겠지요. AMD의 경우 보급형 그래픽카드에서도 16GB의 메모리를 갖춘 제품을 출시하고 있습니다. 그래서 라데온 RX 9060 XT 16GB로 시작해서 좀 더 높은 성능을 내고 싶다면 라데온 RX 9070 XT, 아예 전문적으로 AI에 파고들고 싶다면 32GB의 대용량 메모리를 갖춘 라데온 AI 프로 R9700이 가장 적합한 선택이 될 것입니다. 

<저작권자(c) 기글하드웨어(https://gigglehd.com) 무단전재-재배포금지>

기글하드웨어 인기글