Gpu 혹사 시키기 - 본사이 모델

L9 .고동욱2. 26.09.25. 07:31:54

78 2

Nvidia 16gb 4060으로 할만한게 ltx로 영상만들기인데 이게 글로 디렉션 할라니 맨붕에 빠지네여

최근엔 opencode로 모 사이트에 대한 부하를 만들기 놀이 중인데 말그대로 딸각하면 만들어주긴 하는데, 제한이 걸려서 막히기도 하고, 사용하던 ai모델이 사용량이 차서 막히기도 해서 로컬 모델로 돌려보려는데, 너무 느리게 돌아서 동작하는건지 아닌지 헷갈리고, 그만 그점엔 리뷰해줘 하는 것도 못일아들어서 다시 클라우드쪽 모델로 돌아가게되네여

그러다 최근 본사이 모델이 나와서 돌려보는데

모델을 다운받은다음, 모델 경로를 오픈코드에 넣고 서빙하는 구성을 만들어줘, 오픈코드에서 사용할 수 있게 설정해줘하니 딸각으로 알아서 해줍니다.

오픈코드에서 모델을 본사이로 선택해서 돌려보니 꽤나 빠른 응답 속도 클라우드 모델에 준하는 속도감이네요,

이걸로 툴을 만들어달라고 하니 거부를 하는게 안타깝지만..

본사이모델 헤레틱인가 붙은 모델을 다운받아서 그걸로 서빙해달라고 해서 모델을 교체해보니, 규제가 풀린다는 모델이라 그런지 요청거부가 없네요

공격 점검툴 만들어줘 해도 만들어주려고 하네요

불칸기반으로 서빙하도록 만들기 해서. 베가집에서도 서빙되게 해달라고 했는데 이건 좀 버거워하네여