[IT동아 남시현 기자] 검색증강생성(RAG)은 이제 단순한 실험적 기술이 아니라, 조직 내부 데이터와 AI를 연결하는 엔터프라이즈 AI솔루션의 표준아키텍처로 자리 잡았다. 이를 통해 모델 재학습 없이도 최신 데이터를 연결해 답변의 정확성을 보완할 수 있으며, 지속적인 모델학습 비용 부담도 줄일 수 있다.

게다가 AI가 질문에 답하는 것을 넘어 스스로 계획을 세우고 도구를 활용해 행동을 수행하는 AI 에이전트로 성능이 진화하며 RAG 역시 에이전틱 RAG로 나아가고 있다. 초기의 RAG가 질문과 관련된 문서를 검색해 답변에 활용하는 방식이었다면 이제는 AI가 검색 결과의 당위성을 판단하고 최적의 결과물을 찾는 에이전틱 RAG, 데이터 간 관계를 지식 그래프로 구성해 활용하는 그래프RAG 형태로 발전하고 있다.

이제 AI 업계에서는 언어모델 자체의 성능을 높이는 것을 넘어 모델에 무엇을 어떻게 전달할 것인가로 옮겨가고 있다. 검색 성능을 끌어올리고, 필요한 문서를 의미 단위로 어떻게 분할할 것인가? 벡터, 키워드, 그래프 검색을 어떻게 결합할 것인가 검색된 후보의 우선순위를 어떻게 재조정할 것인가? 그리고 그 결과를 어떤 지표로 지속 검증할 것인가 까지 이른바 컨텍스트 엔지니어링 영역이 AI 서비스의 품질과 완성도를 결정 짓는 핵심 요인으로 떠오르고 있다.

장기기억 인공지능 인프라 전문 기업 디노티시아가 집중하는 부분이 바로 이 대목이다. 디노티시아는 벡터 데이터베이스와 AI 에이전트 구축·운영 기능을 제공하는 씨홀스 클라우드, 벡터 검색을 가속하는 AI 반도체 VDPU(Vector Data Processing Unit)라는 두 축을 바탕으로 AI 고도화를 지원한다. 디노티시아 씨홀스클라우드의 기술적 특징과 경쟁력을 확인해보고자 이장원 디노티시아 사업개발그룹장(상무)을 만나 얘기를 나눠보았다.

“기업 AI 구축의 주요 난관은 데이터 전처리 구성”

시장조사기업 가트너가 올해 1월 발표한 ‘생성형 AI 프로젝트의 50%가 실패하는 이유와 성공 가능성을 높이는 방법’이라는 보고서를 살펴보면 가장 근본적인 AI의 실패 원인은 사업적 가치 부족이다. 명확한 우선순위가 설정되지 않았거나 이상적 결과만을 염두에 두고 시작해 마무리가 좋지 않은 것이다. 사업적 가치 부족은 가장 큰 원인이지만 기술보다는 기획 부문의 문제다.

두 번째 실패 원인으로는 ‘AI 활용을 위한 데이터 준비 부족’이다. 데이터는 선별되고 정확해야 하며, 신뢰성 확보를 위해 RAG용 데이터 파이프라인을 잘 구축하고, 벡터 데이터베이스와 지식 그래프를 통해 관련 정보를 체계적으로 관리하고 검색할 수 있어야 한다. 추가적인 이유로는 총소유비용의 증가, 책임있는 AI를 고려하지 않음, 부실한 변화관리를 원인으로 꼽았다.

이장원 상무는 기업 AI 구축의 가장 큰 병목으로 데이터 전처리를 꼽았다. 이장원 상무는 “벡터 DB 저장에 앞서 RAG 파이프라인과데이터 파이프라인이 먼저 정교하게 설계되야 한다”며 국내 많은 기업과 기관들이 한글(HWP), 워드, 엑셀, PDF 파일 등 오랜 기간 축적된 비정형 문서를 보유하고 있지만 이를 AI가 활용 가능한 형태로 가공하는 데는 여전히 상당한 수작업이 뒤따른다고”라면서 “문서에서 내용을 추출하고 의미 단위로 분할한 뒤, 임베딩(텍스트, 이미지 등을 컴퓨터가 이해할 수 있도록 벡터로 변환하는 기술)해 벡터 DB에 저장하는 전 과정을 자동화하는 것이 우리가 제시하는 해법” 이라고 설명을 시작했다.

이장원 상무는 이 과정의 성패를 가르는 단계로 청킹(chunking)을 지목했다. 문서를 AI가 처리하기 좋은 단위로 분할하는 작업으로, 이 단위가 잘못 잡히면 이후 검색 단계에서 아무리 정교한 알고리즘을 써도 필요한 맥락을 온전히 찾아낼 수 없다.

이장원 상무는 "고정 길이로 자르는 방식이나 문단, 문장 등 구분자를 기준으로 단계적으로 분할하는 재귀적 청킹(Recursive Chunking)이 일반적이지만, 계약서와 매뉴얼, 보고서는 문서 구조 자체가 다르기 때문에 획일적인 기준으로는 한계가 있다"며 "우리는 문맥의 의미 경계를 기준으로 나누는 시맨틱 청킹(Semantic Chunking)과, LLM이 직접 문서를 해석해 분할 지점을 판단하는 LLM기반 청킹을 함께 활용한다. AI 에이전트가 문서의 유형과 구조를 먼저 분석한 뒤 최적의 분할 전략을 선택하고, 그 결과를 임베딩해 벡터 DB에 저장하는 구조"라고 말했다.

전처리는 최초 구축으로 끝나지 않는다. 기업의 문서는 운영 과정에서 계속 쌓이고, 새로 들어오는 문서도 가공해 벡터 DB에 반영해야 검색에 활용할 수 있다. 시스템통합(SI)에 위탁해 초기 데이터를 가공·적재하더라도, 이후 유입되는 데이터를 처리할 체계가 없다면 같은 작업을 반복적으로 수행해야 한다. 데이터가 늘어날수록 수작업 부담이 커지고, 새 문서가 검색에 반영되기까지 지연이 생길 수 있는 것이다.

씨홀스 클라우드는 신규 문서가 유입될 때마다 파싱과 청킹, 임베딩, 벡터DB 적재로 이어지는 전처리 파이프라인을 자동으로 적용한다. 최초 구축 이후에도 새로 쌓이는 데이터를 검색에 활용할 수 있도록 처리해, 고객이 전처리 작업을 반복해야 하는 운영 부담을 줄이는 방식이다.

시맨틱 청킹 기반의 데이터 전처리, 씨홀스 클라우드 벡터DB 완성도 높여

디노티시아의 씨홀스 클라우드의 차별점은 고객이 무엇을 준비해야 하는지가 아니라, 무엇을 준비하지 않아도 되는지에 있다. 고객사는 문서를 디노티시아가 제공하는 저장소에 올리거나, 이미 운영 중인 자사 저장소를 연결하기만 하면 된다. 이후 문서 파싱부터 청킹, 임베딩, 벡터 DB 적재까지의 전 과정은 파이프라인이 자동으로 수행하며, 신규 문서가 유입될 때마다 동일한 처리가 반복 적용된다.

이장원 상무는 "고객이 벡터 DB 구축을 논의할 때 가장 먼저 묻는 것은 결국 '우리 문서에서 원하는 답을 제대로 찾아줄 수 있느냐'다"라며 "그 질문에 답하려면 검색 품질을 한 번 맞추는 것으로는 부족하고, 데이터가 계속 쌓여도 그 품질이 유지되는 구조를 함께 제공해야 한다"라고 말했다.

도입 형태는 고객의 보안 요건에 맞춰 선택할 수 있다. 씨홀스 클라우드는 AWS 퍼블릭 클라우드 기반으로 제공되는 것을 기본으로, 데이터 외부 반출이 제한되는 공공·금융 영역을 위해 온프레미스와 프라이빗 클라우드 구축도 지원한다. 데이터 연계는 오브젝트 스토리지의 사실상 표준 인터페이스인 AWS S3 호환 API를 채택해, 고객이 이미 사용 중인 스토리지를 그대로 연결할 수 있도록 했다.

이장원 상무는 "S3 호환 규격을 지원하는 스토리지라면 AWS가 아니어도 접근 권한만 확보되면 연계할 수 있다"라며 "생성형 언어모델 역시 고객사가 이미 도입한 모델을 그대로 쓰거나, 폐쇄망 환경에서는 자사 DNA 모델을 온프레미스로 붙이는 등 선택의 폭을 열어뒀다"고 설명했다

도입 현장에서 가장 체감되는 것은 유사성 기반 검색이며, 대표적으로 보험 영역이 있다. 기존 키워드 검색은 약관에 쓰인 용어나 문구를 정확히 알고 있어야 원하는 조항에 도달할 수 있다. 반면 벡터 DB 기반 검색은 "입원 중에 받은 검사비도 보장되나요"처럼 고객이 실제로 쓰는 표현을 그대로 입력해도, 의미가 맞닿는 조항을 찾아낸다. 질문하는 사람이 전문 용어를 모를수록 효과가 커지는 구조다.

표현이 서로 다른 복수의 약관을 함께 다룰 때도 마찬가지다. 같은 보장 내용을 회사마다 다른 문구로 기술하더라도 의미 기준으로 대응되는 조항을 연결할 수 있어, 상품 간 차이를 비교하고 설명하는 작업의 부담이 줄어든다. 디노티시아는 이미 복수의 고객사에서 약관과 관련 법령을 벡터 DB로 구축하고, 그 위에 AI 에이전트를 올려 보험설계사와 상담원의 업무를 지원하고 있다. 이장원 상무는 "약관을 찾아 읽고 고객에게 설명하기까지 걸리던 시간이 눈에 띄게 줄었다는 현장 피드백을 받고 있다"고 전했다.

MCP 지원·비용 효율성 앞세워·· 상용 클라우드 대비 80%로 가격 책정

디노티시아는 벡터 DB 시장에서 후발주자다. 파인콘(Pinecone), 질리즈(Zilliz), 큐드런트(Qdrant) 등이 2021~2022년을 전후로 시장을 선점한 만큼 기술 우위만으로 승부하기 어려운 구도다. 디노티시아는 단기적으로 가격과 밀착 지원을, 장기적으로는 자사 가속 하드웨어 VDPU 결합을 통한 성능, 효율 우위를 통한 차별화로 경쟁력을 구성 중이다.

씨홀스클라우드의 주요 차별점 중 하나는 MCP(모델 컨텍스트 프로토콜) 연동이다. MCP는 AI 모델이 외부 도구와 데이터에 표준화된 방식으로 접근하도록 정의한 개방형 프로토콜이다. 이 상무는 "업무에 필요한 답은 문서뿐 아니라 ERP(전자석 자원 관리), CRM(고객관계관리), 사내 DB에 흩어져 있다"며 "씨홀스클라우드 내 에이전트가 어떤 도구를 호출할지 판단해 사내 시스템 조회와 벡터 DB 검색 결과를 종합하는 구조"라고 설명했다.

그럼에도 가격은 상용 클라우드 대비 약 80% 수준으로 책정했다. 이장원 상무는 "AI 도입 경험이 많지 않은 중견, 중소기업과 공공기관에 필요한 기술 지원과 운영 관리까지 포함해도 총소유비용 측면에서 경쟁력이 있다"고 말했다.

올해 말 VDPU 서비스 준비, 씨홀스 클라우드 글로벌 확대 추진

장기적으로는 VDPU를 기반으로 벡터DB 추론 비용 자체를 낮추는 방향에 도전한다. 디노티시아는 지난 8월 4일에서 6일 사이 미국에서 개최된 FMS 2026(Future of Memory and Storage)에서 VDPU 칩 실물과 벡터 검색 가속 카드를 공개했다. 이어 9월 15일부터 17일 미국 캘리포니아 산타클라라 컨벤션센터에서 개최된 AI 인프라 서밋 2026에서 VDPU를 서버 환경으로 확장한 아키텍처를 공개했다.

VDPU는 벡터DB의 인덱스 탐색과 벡터 유사도 계산을 전용으로 처리해 RAG 및 AI 에이전트 실행 시 데이터 검색의 병목을 줄이는 것을 목표로 한다. 현재 벡터 검색은 CPU나 GPU 가속으로 벡터DB를 처리하는데 전용 반도체로 대체하면 전력 소모량, 비용 효율, 하드웨어 비용 등을 통해 서비스 비용 전반을 낮출 수 있다.

디노티시아는 올해 하반기 중 VDPU 기반의 첫 AI 스토리지 제품을 발표하고 내년 중 본격적으로 양산을 시작한다. VDPU가 완성된다면 파인콘, 쿼드런트 등 동종 서비스 기업보다 훨씬 더 비용효율적으로 서비스를 제공해 높은 시장경쟁력을 갖추게 될 것이다. 이장원 상무는 “씨홀스 클라우드는 AWS로 활용해 높은 범용성과 확장성을 제공한다. 향후 국내는 물론 글로벌 시장으로 확장할 예정”이라는 뜻을 밝혔다.

씨홀스 클라우드에 VDPU 기반 작업이 접목되는 것은 벡터DB의 본격적인 상용화의 시작점이라 할 수 있다. 특히나 CPU와 GPU의 벡터DB 추론 작업을 대체한다면 벡터DB는 단순히 데이터 저장소를 넘어 AI의 기억과 검색을 담당하는 핵심 인프라가 되고, AI 업계 전반에 VDPU가 새로운 AI 인프라 계층으로 자리잡을 수 있다. 아직 본격적인 양산과 대규모 고객 도입, 독립적인 성능 검증이라는 과제가 있지만 디노티시아는 지금도 그 목표를 달성하기 위해 계속 나아가고 있다.

IT동아 남시현 기자 (sh@itdonga.com)