최대 120B LLM을 사내에서…애즈락, 온프레미스 AI 워크스테이션 출시

2026.08.11. 16:02:35

애즈락 인더스트리얼(ASRock Industrial)이 기업용 AI 지식관리 플랫폼 ‘AiKMSpark’를 전용 번들로 제공하는 엣지 AI 솔루션 ‘AI BOX-A395’를 공개했다.

AI BOX-A395는 AMD 라이젠 AI 맥스+ 395 프로세서를 기반으로 CPU와 GPU, NPU를 하나의 시스템에 통합한 소형 AI 워크스테이션이다. 최대 126 TOPS의 AI 연산 성능을 제공하며, 기업이 외부 클라우드 인프라에 의존하지 않고 자체 환경에서 생성형 AI와 대규모언어모델(LLM)을 운용할 수 있도록 설계됐다.

함께 제공되는 AiKMSpark는 기업 내부에 축적된 각종 문서를 AI 기반 지식 데이터베이스로 전환하는 온프레미스 지식관리 플랫폼이다. 임직원은 자연어로 질문을 입력해 필요한 정보를 검색하고, 여러 문서에 흩어진 내용을 통합·분석하거나 새로운 인사이트를 생성할 수 있다.

사내 문서 검색부터 보고서 작성까지 지원

기업이 보유한 기술 자료와 제품 문서, 규제 대응 자료, 금융 데이터 등은 여러 파일과 시스템에 분산돼 필요한 정보를 신속하게 찾기 어려운 경우가 많다. AiKMSpark는 이러한 문서를 LLM 기반으로 분석하고 연결해 지속적으로 확장되는 기업 전용 지식 기반을 구축한다.

단순한 정보 검색을 넘어 작업을 수행하는 에이전틱 AI 기능도 지원한다. 여러 문서에 포함된 정보를 취합·분석해 구조화된 보고서를 만들 수 있으며, 완성된 결과물은 PDF나 워드 형식으로 내보낼 수 있다.

주요 활용 분야로는 기술 지원, 제품 문서 관리, 규제 준수, 금융 분석 등이 꼽힌다. 조직 내부의 전문지식과 업무 경험을 보존하면서 임직원 간 정보 공유를 확대하고, 자료 분석과 의사결정에 필요한 시간을 줄일 수 있도록 했다.

최대 128GB 통합 메모리·120B 규모 LLM 지원

AI BOX-A395는 최대 128GB 통합 메모리를 지원한다. 이를 기반으로 최대 1200억개 매개변수를 갖춘 LLM의 로컬 추론을 처리할 수 있어 고성능 기업용 AI 작업을 사내 인프라에서 수행할 수 있다.

AI 연산 장치와 지식관리 플랫폼을 하나의 패키지로 구성한 점도 특징이다. 별도의 클라우드 AI 환경을 구축하거나 여러 시스템을 복잡하게 연동하는 과정을 줄여 기업의 AI 도입 시간을 단축하고 인프라 운영 부담을 낮춘다.

온프레미스 방식으로 데이터를 처리하기 때문에 기업은 내부 문서와 AI 모델, 시스템 운영 권한을 직접 관리할 수 있다. 민감한 업무 자료를 외부로 전송하지 않으면서 데이터 주권과 보안, 규제 준수 요건에 대응할 수 있으며 사용량에 따라 비용이 달라지는 클라우드 AI 서비스에 대한 의존도도 줄일 수 있다.

애즈락 인더스트리얼은 AI BOX-A395와 AiKMSpark의 결합을 통해 기업이 엣지 AI 연산 성능과 지능형 지식관리를 동시에 확보하고, 안전한 온프레미스 환경을 기반으로 AI 전환을 추진할 수 있도록 지원한다는 방침이다.

김종혁 기자/news@newstap.co.kr

[뉴스탭 인기 기사]
· 쿠쿠, 하단 서랍형 김치냉장고 출시…‘소주 슬러시’ 모드까지
· 픽시 감성부터 가족 나들이까지…삼천리자전거, 청소년 자전거 2종 출시
· 멘지, ‘직화 통닭다리 야끼토리’ 출시…말복 프로모션 예고
· 노래방도 ‘개인화’ 시대…TJ미디어 ‘마이 티제이’ MAU 47% 증가
· “갤럭시 그래픽카드, 한국서 새 출발”…클릭나라 단독 유통·이엠텍 A/S로 승부