[IT동아 남시현 기자] 오늘날 대형언어모델은 극단적으로 빠르게 발전하고 있으나 여전히 개인화나 검색 효율과 관련해서는 한계가 있는 상황이다. LLM은 실시간으로 정보를 구축해서 제공할 수 없고, 개인화 서비스도 제공하지 않는다. 검색증강생성(RAG)의 도입으로 환각 문제는 많이 해결되었지만 여전히 장기 기억력은 없다. 같은 질문을 시간차로 질문하면 처음부터 다시 입력하고, AI가 나를 위한 맞춤형 서비스를 제공하지 않는 게 구조적인 문제 때문이다.

이런 문제를 해소하기 위한 돌파구로 꼽히는 것이 벡터 데이터베이스 검색이다. 벡터 DB란 컴퓨터가 이미지, 텍스트 등의 데이터를 정확히 구분할 수 있도록 컴퓨터 형태로 수치화한 데이터다. 현재 검색 방식인 스칼라 DB는 데이터나 문자열 등의 특정 값(Scalar) 형태로 구분하고, 질문을 받고 응답할 때 결과값을 키워드나 조건을 기준으로 찾아서 제공하므로 비효율적이고 병목도 발생한다. 벡터DB는 의미적으로 유사한 형태를 찾는 식으로 동작해 검색 효율이 높고 질문의 완성도나 성능도 크게 향상된다.

마이크로소프트는 클라우드 플랫폼 애저에서 데이터의 형태에 틀이 없는 비관계형 DB에도 벡터 검색 기능을 추가했다. 구글 역시 버텍스 AI에 수십억 개의 벡터를 처리할 수 있는 전용 엔진을 추가했고, AWS도 유사도 검색 알고리즘을 지원하는 AWS 오픈서치 서비스를 통해 기존 스칼라 DB에 벡터 DB 검색 기능을 추가하고 있다.

문제는 기존의 AI용 하드웨어가 벡터 DB 활용에 적합한 구조가 아니라는 점이다. 쉽게 말해 기존 스칼라 방식으로 벡터 DB 방식의 유사도 검색을 실행하는 것이어서 전력 및 연산 효율은 떨어진다. 지금은 물량을 많이 투입해 벡터 DB를 어떻게든 활용하는 방식에 가깝다. 이를 위한 전용 AI 가속기와 클라우드 전반을 만들고 있는 기업이 디노티시아(Dnotitia)다. 디노티시아는 장기기억 AI 및 반도체 통합 설루션 기업으로 벡터 DB 처리 전용 반도체 VDPU와 벡터 DB 처리 전용 씨홀스클라우드를 개발하고 있다.

디노티시아, 올해 VDPU 출시하고 AI 스토리지 서비스 완성한다

디노티시아는 지난 3월 3일 기자간담회를 열고 장기기억 AI 구현을 위한 ‘AI 스토리지’ 전략을 공식 발표했다. 정무경 디노티시아 대표는 “2026년 현재 GPT, 클로드 등의 대형언어모델 기술은 상향 평준화되고 있고, 결국 서비스 차별화는 데이터를 어떻게 개인화하는지, 어떤 종류를 얼마나 품질을 높일 건지에 달렸다고 본다. 벡터 DB를 통해 LLM의 실시간 정보 제공과 개인화 서비스, 근거 확보, 장기기억 제공이 가능해진다”라고 설명을 시작했다.

이어서 “디노티시아는 검색증강현실을 위한 외부 메모리, 장기 기억을 위한 에이전틱 메모리, KV 캐시에 해당하는 단기기억 메모리 세 가지 계층을 바탕으로 벡터 DB 시장 전략을 구축 중이다. 지금도 데이터의 85%는 생성 후 활용하지 않는 다크데이터인데 이를 벡터 DB화 하고 AI가 유사도 검색으로 들여다보면 AI의 성능과 효율이 더욱 극대화될 것이다. 디노티시아는 이 데이터베이스의 처리와 저장을 위한 ‘AI 스토리지’를 주력 전략으로 펼칠 것”이라고 소개했다.

LLM이 기술적으로 장기기억 메모리를 지원하지 않는 점, 그리고 단기 기억 메모리의 성능 효율이 구조적으로 떨어지는 부분도 디노티시아가 눈여겨보고 있는 부분이다. 정무경 대표는 “LLM은 실시간 학습이 불가능한 구조여서 생성된 데이터를 장기로 기억하지 않는다. 같은 작업을 하려면 세션을 열고 처음부터 다시 설명해야 한다”라고 말했다.

장기 메모리의 종류로는 ▲ 과거의 사건과 경험 등을 기록하는 일화 기억(episodic memory) ▲ 일반적 사실이나 개념 등의 지식을 다루는 의미 기억 (Semantic memory) ▲ 도구의 사용법이나 수행법 등에 다루는 절차 기억(Procedural memory)으로 나뉜다. 이를 종합하려면 일상적으로 AI를 활성화 해야 하는데 저장 공간이 너무 커지다 보니 메모리보다는 저장장치 방식으로 접근하는 수밖에 없다. 디노티시아는 AI 기반의 씨홀스 클라우드로 스토리지 부분을 대응하려 한다.

마지막으로 단기기억 메모리는 실시간 대화 기록 등을 담는 KV캐시를 의미한다. LLM의 실시간 대화 기록은 AI 가속기의 메모리에 임시로 업로드돼 있으며 콘텍스트가 길어질수록 더 많은 메모리가 필요하다. 가속기 용량을 키우면 될 일이긴 하나 가격이 천정부지로 뛴다. 최근 엔비디아는 이 문제를 해결하기 위해 GPU와 저장공간 사이를 고속으로 연결해 KV 캐시를 저장하는 ICMS(Inference Context Memory Storage) 기술을 선보였다. 디노티시아의 AI 스토리지도 ICMS에 호환되도록 설계 중이며, 엔비디아 블루필드 데이터 처리 장치와 스마트닉(네트워크 인터페이스 카드)을 연동하는 과정에 있다.

메모리 계층을 세 단계로 구분하는 이유는 AI 스토리지에 투입되는 기술력을 가능한 다각적으로 활용하기 위해서다. 정무경 대표는 “5년 내 AI 데이터의 접근 빈도는 최대 5000배까지 늘어날 것이고, AI 스토리지 시장도 최대 283억 달러(약 41조 8000억 원)까지 성장할 것으로 본다. 일단 국내 SSD 시장의 규모는 크기만 이를 기반으로 한 설루션은 거의 없고, 델 EMC나 넷엡, IBM, 퓨어스토리지 등이 비중을 차지하고 있다. 디노티시아 역시 이 시장을 공략할 것”이라고 말했다.

AI 토큰 소모량 80배 상승··· 인프라 확보만큼 효율화 중요해져

디노티시아가 개발하는 AI 스토리지는 씨홀스클라우드 기반의 소프트웨어와 VDPU 기반의 하드웨어, 그리고 데이터 전처리 과정부터 벡터 DB 처리까지 모두 수직계열화하여 지원하는 것이 목표다. 노홍찬 CDO(최고 데이터 책임자)는 “오픈클로, 클로드 코워크 등 AI 에이전트의 확산으로 소프트웨어 시장에도 전례 없는 위기가 이어지고 있다. SSD와 메모리 가격은 지난해 대비 5배 이상 폭등했고, 토큰 소비는 80배 이상 증가했다. 기존 챗봇은 토큰을 1000개(1K) 정도만 소비하나 범용 AI 에이전트는 저장, 읽기, 수정, 응답 등을 반복하며 8만 토큰 이상을 소비한다”라고 배경을 설명했다.

이어서 “문제는 기존 방식의 데이터 처리 방식은 비효율적이다. 파일 서버에서 데이터를 불러와 문서 파서로 텍스트를 추출하고, 시각과 언어 모델로 인식하고, 문서를 청킹 엔진으로 분할하고 임베딩 서버로 벡터화 변환한 다음 벡터 DB에서 인식한다. 디노티시아는 이 모든 과정을 SW 단위로 통합하고, 2단계 제품에서 VDPU까지 적용해 비용효율적인 제품을 내놓을 것”이라고 설명했다.

특히 데이터 이중 저장 문제도 해결하려 한다. 기존의 AI 처리 파이프라인에서는 스칼라 DB와 벡터 DB가 각각 분리되어 운영된다. 벡터 DB를 처리할 때는 분산 스토리지에서 파일을 네트워크로 가져가서 처리한 다음 다시 스토리지에서 다룬다. 하나의 스토리지로 데이터를 저장하고 벡터 DB는 벡터 상태로 처리하는 ‘벡터 네이티브 스토리지’를 제안하는 것이다. 디노티시아는 작년 4월에 관리형 벡터 DB 서비스를 출시, 원천 기술을 바탕으로 씨홀스클라우드 1.0 버전 서비스를 시작했고, 올해부터는 전처리 과정까지 스토리지에 통합하고 VDPU로 벡터 DB 가속을 지원하는 버전을 출시한다.

사업 성과와 관련해 노홍찬 CDO는 “공개적으로 확인해 드리기는 어려우나 해외 기업과의 개념증명(PoC)은 차근차근 진행 중이며, 국내에서도 실질적인 비즈니스 기회가 있는 상황이다. 국내 데이터센터 비즈니스 역시 자세한 내용을 밝힐 수는 없으나 진전되는 상황”이라고 설명했다.

AI 스토리지의 핵심인 ‘VDPU’ 올해 양산 돌입

디노티시아가 독자 개발하고 있는 VDPU(벡터 데이터 처리 장치)는 벡터 DB 파이프라인을 저장장치 수준에서 해결하기 위한 전용 처리 장치다. 정세현 CTO는 “외부 지식이나 장기 기억 등의 데이터는 주로 비정형 형태며 이런 데이터가 폭발적으로 증가하고 있다. 업계에서는 이 데이터를 AI가 처리하는 방향으로 접근하고 있다. 데이터 규모가 방대해 파일명이나 키워드 검색만으로는 구분이 어렵고, 의미 기반의 검색이 필요하다. 또 AI 콘텍스트를 저장하는 비용도 늘고 있고 대화 내용을 임시 저장하는 KV캐시의 요구량도 크게 늘고 있다. 이를 GPU에서만 처리하면 GPU 비용 급증을 불러온다”라고 배경을 설명했다.

핵심은 CPU나 GPU가 비효율적으로 처리하는 벡터 DB 처리 데이터를 VDPU가 수행하게끔 하는 것이다. 핵심 기능은 벡터 검색 가속, KV캐시 압축, 추론 콘텍스트 관리, VDPU 직렬 데이터 전송 인터페이스가 있다. VDPU는 지난해 TSMC 12nm 공정으로 테이프아웃을 완료했으며 올해 본격적으로 양산을 시작한다. PCIe 카드 형태로 제작돼 장치 호환성을 마련하고 LPDDR5X를 채용해 저전력, 고용량 환경을 만족한다.

1세대 칩을 프로그래밍가능한 반도체(FPGA)로 구성해 벡터 검색 기능 일부를 시험했다. 2개의 인텔 제온 골드 6426Y를 탑재한 서버와 1대의 VDPU-FPGA를 장착한 시스템의 벡터 DB 검색 성능을 비교한 결과에서는 약 2.8배 높은 성능을 보여줬다. 2개의 경우 5.3배, 3대는 7.3배, 4대는 8.5배까지 성능을 높인다. 간이로 성능을 구성한 FPGA 특성을 감안해도 효율 차이는 검증됐고, 주문형 반도체(ASIC)으로 설계할 경우 최대 14배까지 벡터 DB 검색 성능이 향상된다는 것이 양세현 CTO의 설명이다.

3월 중 시리즈 A 완료, 올해 실적으로 가치 증명할 것

벡터 DB를 향한 디노티시아의 도전은 순항 중이다. 지난해 9월 디노티시아는 VDPU의 도면에 해당하는 지식재산(IP)의 사업화를 먼저 시작했다. 벡터DB용 시스템 자체를 판매하는 것도 중요하지만 벡터 DB를 다루는 하이퍼스케일러 등의 사업자가 직접 VDPU를 설계하고 사용함으로써 생태계를 확대할 수 있다. 양세현 CTO는 “시스템온칩(SoC) 제조사들이 디노티시아의 IP에 관심을 갖고 있으며, 메모리나 스토리지 컨트롤러 회사들도 많다”라고 답했다.

최근 저장장치 가격이 상승하고 있지만 디노티시아의 사업에도 당장 영향을 미치지는 않을 전망이다. 정무경 대표는 “AI 스토리지에 어떤 제조사의 저장장치를 탑재할지는 아직 정해진 바 없으며 다양한 방안을 모색 중이다. SSD와 메모리 가격이 모두 뛰며 글로벌 기업들이 장치를 효율적으로 쓰는 방안을 계속 모색하고 있고, AI 스토리지를 활용하면 인프라의 성능을 더 끌어올릴 수 있다. 장기적으로는 관련 수요는 더 늘어날 것”이라고 답했다.

디노티시아는 오는 3월 중 시리즈 A 투자를 마무리한다. 이를 바탕으로 올해 씨홀스클라우드를 활용한 AI 스토리지의 기반을 구축하고 하반기 중 VDPU를 양산하며 저장장치 및 메모리 부족, AI 데이터의 효율적인 처리를 필요로 하는 AI 기업, 하이퍼클라우드 사업자 공략에 나선다. 특히 VDPU는 전 세계적으로 디노티시아가 처음 선보이는 형태의 반도체여서 시장 가능성을 쉽게 재단하기 어려운데, LLM과 클라우드 등으로 사업을 다각화해 생존력을 확보했으니 향후 로드맵 실현에 큰 무리는 없을 것으로 보인다. 남은 것은 성공적으로 양산을 수행하고 AI 스토리지를 얼마나 많은 기업들이 찾는가에 달렸다.

IT동아 남시현 기자 (sh@itdonga.com)