5080을 AI 작업에 써본결과 딱 깨달은건, 이건 정말 '게임용' 그래픽카드임.
일단 5080이면 4K 고해상도건 고주사율이건 뭐뭐 최신 고사양게임이건 그냥 다 씹어먹고 돌릴만한 성능을 충분히 가졌지만,
AI에서는 VRAM 용량의 한계로 절대로 써먹을 물건이 못됨.
실무에서 쓰건 학습용으로 쓰건, 굉장히 비효율적이고 시간이 2배가 아니라 6배 7배 10배 20배까지 늘어남. 양자화 Q5_K_M은 꿈도 꾸지 마셈. 잘 쳐줘봐야 14B에 Q4_K_M임.
5090만 가격이 저렇게 쳐비싼 이유가 있음.