[IT동아 남시현 기자] 업스테이지가 퓨리오사AI의 상용 서비스를 본격화한다. 7월 15일 오전, 김성훈 업스테이지 대표와 백준호 퓨리오사AI 대표, 이건수 AXZ 대표가 유튜브 생중계를 통해 ‘퓨리오사 RNGD 솔라 모델-다음 AI 서비스 협력 사례’ 소개에 나섰다. 업스테이지는 지난 5월 포털 사이트 ‘다음(Daum)’의 운영사 AXZ의 지분을 100% 인수했으며 다음을 차세대 AI 포털로 탈바꿈하겠다는 목표를 세운 바 있다.

이번 발표의 핵심은 다음 포털에 노출되는 ‘AI 오버뷰’에 필요한 추론 연산을 퓨리오사AI의 추론용 AI 가속기 ‘RNGD’로 구동하는 것이다. AI 오버뷰는 업스테이지의 솔라-31B 모델을 활용해 포털사이트를 검색하는 사용자의 질문에 대한 답변, 요약을 제공하는 서비스다. 특히 포털사이트 검색 비중이 높은 쇼핑·맛집·여행·부동산·구인구직 등 분야별 검색에 특화됐다. 앞서 11일, 업스테이지가 AI 오버뷰에 미국 세레브라스 인퍼런스 클라우드를 활용하겠다고 발표했는데 이번 발표를 통해 WSE-3 칩은 물론 RNGD로도 AI 오버뷰가 서비스되게 됐다.

이건수 대표는 “AI 오버뷰는 실시간 정보를 바탕으로 하며 항상 최신 정보가 중요하다. LLM은 사전 학습된 지식, 예시를 요약하는 과정에서 환각을 일으킬 수 있다. 그래서 최대한 정확한 정보를 제공하도록 작업 환경을 구축하는 하네스 엔지니어링을 적용해 놨다”라면서 “최신 정보를 활용하기 위해 솔라 LLM과 기존의 키워드 서치, 벡터 서치를 조합해 최신의 문서를 찾아올 수 있도록 실험을 거듭해 정확도를 확보했다”라고 설명했다.

백준호 대표는 “AI 모델을 가속기에 잘 매핑할 수 있는 컴파일러와 최적의 서빙을 위한 엔진 개발 등 하드웨어-소프트웨어를 원천 설계로 구성해 H200와 대등한 성능을 내고 있다”라면서 “솔라 LLM 처리를 위해 3개 노트, 24개의 칩이 투입돼 하루 약 5억 개의 토큰을 처리 중”이라고 말했다. 아울러 “국산 NPU는 토큰 비용을 획기적으로 절감할 수 있고, GPU보다 전력 소모대 성능비와 총 소유비용 측면에서 유리하다”라며, “국제정세를 고려했을 때 전략적 관점에서도 소버린 AI 반도체와 모델, 서비스의 결합이 필요한 상황”이라고 덧붙였다.

업스테이지는 다음 포털을 AI 확산의 기반으로 삼는다. 이건수 대표는 “AI 요약은 전체 질의응답 중 20% 정도를 처리하고 있으며 점진적으로 비율을 높일 계획이다. 단순 요약을 넘어 쇼핑, 맛집 검색 등 적용 범위를 수직적으로 확장하고, 다음 사용자에게 특화된 1인 1에이전트 보급도 준비 중”이라고 밝혔다. 이어서 김성훈 대표도 자체적인 소형 모델 설계를 통해 글로벌 고성능 LLM을 구축하고, 해외 빅테크 모델에 맞설 수 있는 국산 LLM을 계속 개발하겠다고 답했다.

한편 김성훈 대표가 칩 확보가 어려운 상황이라고 말하자, 백준호 대표가 연내 1만 장까지 충분히 공급할 수 있다며 긴밀한 협력 관계임을 보여주기도 했다. 업스테이지는 오는 8월 전까지 독자 AI 파운데이션 2차 사업을 마무리하며 이를 바탕으로 제작한 솔라-오픈-100B의 후속 모델도 곧 공개할 예정이다.

엔비디아 H200과 대등한 성능, 돋보이는 ‘전성비’

이번 발표에서 엔비디아 H200와 RNGD의 실제 성능이 직접 발표되지는 않았으나 미리보기로 제공된 예시 화면을 통해 RNGD의 성능을 짐작할 수 있다. 우선 ‘해열제 종류와 복용방법’ 질문에서는 엔비디아 GPU가 5.8초일 때 RNGD는 8.2초가 소요됐다. ‘애플 주가 전망’은 엔비디아 GPU가 4.43초 소요될 때 RNGD는 7.02초가 소요됐다. 두 질문 모두 RNGD의 결과가 한 문단씩 더 길어서 시간이 조금 더 소요됐다.

‘코스피 지수 전망은 어떻게 되나요?’ 질문은 엔비디아 GPU가 4.04초, RNGD는 5.65초 소요됐다. 이때 문맥의 길이가 거의 동일해 실질적인 차이는 1.5초 정도로 볼 수 있다. ‘오늘 금 시세 18K 24K 비교’ 질문의 경우 RNGD가 6.21초만에 먼저 연산을 끝냈고, 엔비디아 GPU는 한문단 더 길게 생성해 6.08초가 걸렸다. 각 질문의 연산 지연율을 평균 내면 RNGD는 약 35.46% 느리고 테스트 전체에 걸린 총 시간을 기준으로 비교하면 약 33.07% 느리다. 다만 해당 결과는 간담회에 제시된 자료 몇 개만으로 단순 계산한 값이므로 실제 환경에서의 결과는 다를 수 있다.

다만 총 구축비용 및 운영 비용을 고려하지 않을 수 없다. 엔비디아 H200의 경우 단일 GPU 가격만 약 4만 달러(약 5900만 원대) 수준으로 형성돼 8-GPU 기반 완제품 시 가격이 수억 원 정도다. RNGD 공급 총판인 시스원의 발표에 따르면 비슷한 성능의 RNGD를 도입할 때 총 비용은 30%, 전력 소모량은 50%까지 줄일 수 있다. 장치 환경과 냉각 비용, 서버의 물리적인 임대료 등을 고려하면 총비용 격차는 더 벌어진다.

RNGD의 경우 전용 NPU 컴파일러 등이 필요해 개발 작업이 추가로 필요할 수 있지만 LLM 추론과 관련해서는 이 부분도 크게 개선됐다. 업스테이지-다음의 RNGD 도입은 한국의 AI 생태계 시작의 신호탄이다. 퓨리오사AI는 RNGD를 제공해 운용 데이터를 쌓아 다른 도입 사례를 마련할 수 있고, 업스테이지-다음은 더 저렴하고 안정적으로 국산 반도체로 서비스를 운용할 수 있다. 소버린 AI를 위한 AI 기업 간의 협력이 성공적으로 결실을 맺기를 바란다.

IT동아 남시현 기자 (sh@itdonga.com)