많은 분들이 게임을 위해서 그래픽 카드를 구매하시지만, 저는 게임을 별로 하지 않습니다.

그런데 왜 5070Ti 모델을 구입했을까요?

그건 바로 요즘 장안의 화제인 AI때문입니다.

AI라고 일컬어지는 부분은 현재 대부분이 LLM(대규모 언어 모델)하고 관련이 있어요.

저는 그 LLM을 이용해서 챗봇을 만들어보려고 이것 저것을 해보고 있는데, 처음에는 맥 미니가 좋다고 해서 추천을 받았었죠.

맥미니 M4 32G 모델을 주문했는데, 2월에 주문한 제품이 아직도 안오고 있습니다.

그 맥미니를 기다리면서 먼저 필요한 이것 저것을 만들어보자 하고 시작했죠.

그런데 막상 프로그램이 만들어져가면서 보니까, 맥미니보다는 리눅스에 GeForce 그래픽카드 (RTX류)를 붙인 경우가 더 적합하다는 것을 알게됐죠. 성능이나 호환성 등등.

그래서 이것 저것 비교해보다 내린 결론이 5070Ti가 스윗스팟이구나. 하는거였습니다.

그래픽카드로 LLM을 구동하는데 가장 큰 허들은 메모리 용량입니다.

5070Ti, 5080까지는 16GB VRAM이 최대거든요.

크다면 크고 작다면 작은거지만, 그래도 16GB를 사용할 수 있는 기기 중 성능이 따라주는건 5070Ti가 최소한의 선택입니다.

16GB가 가능한 모델은 5060Ti도 있지만, 메모리 대역폭이 작아 5070Ti하고는 LLM 성능차이가 많이 납니다.

LLM은 메모리 대역폭이 바로 성능(속도)이라고 해도 과언이 아닌지라, 메모리 대역폭이 큰 모델을 구입하는게 중요해요.

저는 3060Ti하고 4060도 가지고 있는데, 어쩐지 4060이 좋아보여서 나중에 구매한 제품은 4060이었지만, LLM을 사용하다보니 3060Ti가 더 좋은 제품이더라는...

아무튼, Local LLM을 구동하는데 대역폭이 중요합니다.

거기에 4GB의 차이도 생각보다 크구요.

3060Ti는 8GB, 3080Ti는 12GB, 5070Ti는 16GB입니다.

여기서 24GB를 가진 4090이나 32GB를 가진 5090을 구입하며 그게 베스트겠지만, 가격이 안드로메다로...

그래서 ChatGPT와 수많은 토론 끝에 5070Ti로 낙점을 하고 가성비가 좋아보이는 게인워드 제품을 구매했습니다.

모사 제품은 써멀 흐름 이슈가 있고, 또 다른 제품하고 게인워드하고 비교해서 너같으면 뭘 사겠니, 사람들 평이 어떠니 하고 물었더니 게인워드를 추천하더라구요. 가격도 좋은데 추천도 받았으니 안살 이유가 없었습니다.

1월, 작년 11월 가격하고 비교하면 으...좀 아깝긴 하지만 그나마 빅스마일 데이를 이용해서 그래도 괜찮은 가격에 건졌죠.

근데 으악!

800W 파워가 있는 집 컴퓨터 (원래 RTX 4060 있던)에 달려고 보니 안들어갑니다.

으하하...

눈물을 머금고 사무실 컴퓨터에... 뭐 어차피 이걸로 개발하니 상관없겠죠.

그런데 파워가 600W 짜립니다.

제가 이거에 대해서 글을 몇번 썼었는데, 600W로 써도 정말 뻥파워 아니면 괜찮아요. 

여기 달려있는 파워가 리뷰했던 잘만 파워인데 12V로 540W까지 뽑아줍니다.

그래서 5070Ti를 달아도 이론상 별 문제는 없어요.

게다가 LLM을 돌리는건 Peak Power에 도달할 일이 없다시피하죠.

윈도우는 처음에 달고 부팅하니 3060Ti가 있던 컴퓨터인데도 드라이버가 안맞아서 그런지 저해상도로 출력되더라구요.

그래서 바로 드라이버 업데이트부터 했습니다.

바이브코딩은 하면 할수록, 그리고 LLM을 결합한 챗봇을 개발하면 개발할 수록 LLM의 비중이 점점 줄어드는 것을 느낍니다만..

자 이제 이걸로 좀 더 좋아진 Local LLM이 장착된 스마트 챗봇 개발을 시작해볼께요~