엔비디아, AI 안전성 강화 위한 'NIM 마이크로서비스' 출시...아마존·로우스 등 도입

2025.01.17. 15:32:51

681

엔비디아(NVIDIA)가 16일(현지 시간) 기업들의 AI 애플리케이션 안전성과 정확성을 높이기 위한 새로운 'NIM 마이크로서비스(NIM microservices)'를 공개했다. 이는 엔비디아 네모 가드레일(NVIDIA NeMo Guardrails) 소프트웨어 툴의 일부다.

엔비디아 공식 블로그에 따르면 AI 에이전트는 전 세계 10억 명의 지식 노동자들의 생산성을 높일 것으로 전망된다. 하지만 기업들이 AI 에이전트를 개발하기 위해서는 신뢰성, 안전성, 보안성, 규정 준수와 같은 중요한 문제들을 해결해야 한다.

최대 40% 고객 응대 시간 단축하는 AI 가드레일

AI는 비즈니스 프로세스 전반에서 생산성을 급격히 향상시키고 있다. 고객 서비스 분야에서는 고객 문제 해결 시간을 최대 40% 단축했다. 하지만 고객 서비스와 기타 AI 에이전트를 확장하려면 유해하거나 부적절한 출력을 방지하고 AI 애플리케이션이 정의된 매개변수 내에서 작동하도록 보장하는 안전한 모델이 필요하다.

3만5000개 데이터로 학습한 콘텐츠 안전 마이크로서비스

새로운 마이크로서비스 중 하나인 콘텐츠 안전 모더레이션은 이지스 콘텐츠 안전 데이터셋(Aegis Content Safety Dataset)을 사용해 학습됐다. 이는 해당 분야에서 가장 높은 품질의 인간 주석 데이터 소스 중 하나다. 엔비디아가 큐레이팅하고 소유한 이 데이터셋은 허깅 페이스(Hugging Face)에서 공개적으로 사용할 수 있으며, AI 안전성과 시스템 제한을 우회하려는 탈옥 시도에 대해 플래그가 지정된 35,000개 이상의 인간 주석 데이터 샘플을 포함한다.

주요 기업들의 네모 가드레일 도입 사례

암독스(Amdocs), 세렌스 AI(Cerence AI), 로우스(Lowe's) 등 주요 기업들이 이미 네모 가드레일을 도입했다. 암독스의 앤서니 구네틸레케(Anthony Goonetilleke) 기술그룹 대표는 "네모 가드레일과 같은 기술은 생성형 AI 애플리케이션의 안전한 운영을 보장하는 데 필수적이다"라고 말했다.

자동차 산업을 위한 AI 솔루션을 전문으로 하는 세렌스 AI는 차량 내 어시스턴트가 맥락에 맞는 안전한 상호작용을 제공하도록 하기 위해 엔비디아 네모 가드레일을 사용하고 있다. 세렌스 AI의 닐스 샨츠(Nils Schanz) 제품 기술 부문 부사장은 "네모 가드레일은 우리 자동차 제조사 고객들을 위해 맞춤화가 가능하며 유해하거나 불쾌한 요청을 필터링하여 CaLLM 언어 모델이 의도하지 않거나 부적절한 콘텐츠를 최종 사용자에게 전달하지 않도록 보호한다"고 말했다.

리테일 분야 AI 혁신 가속화

주요 홈 임프루브먼트 소매업체인 로우스는 매장 직원들의 전문성을 높이기 위해 생성형 AI를 활용하고 있다. 포괄적인 제품 지식에 대한 접근성을 향상시킴으로써 직원들이 고객 질문에 답하고 프로젝트를 완료하는 데 필요한 적절한 제품을 찾을 수 있도록 지원한다.

엔비디아는 최근 NRF 쇼에서 리테일 쇼핑 어시스턴트를 위한 엔비디아 AI 블루프린트(NVIDIA AI Blueprint)에 네모 가드레일 마이크로서비스를 통합했다고 발표했다. 태스커스(Taskus), 테크 마힌드라(Tech Mahindra), 위프로(Wipro)와 같은 컨설팅 기업들도 네모 가드레일을 자사 솔루션에 통합하고 있다.

AI 안전성 테스트 위한 오픈소스 도구 '가락' 공개

엔비디아는 개발자들이 AI 안전장치의 효과를 테스트할 수 있도록 '가락(Garak)'이라는 오픈소스 도구도 공개했다. 이를 통해 데이터 유출, 프롬프트 인젝션, 코드 환각, 탈옥 시나리오 등의 문제를 평가할 수 있다.

네모 가드레일은 액티브펜스(ActiveFence)의 액티브스코어(ActiveScore), 하이브(Hive)의 AI 생성 콘텐츠 감지 모델, 피들러(Fiddler) AI 관찰성 플랫폼, 웨이츠 & 바이어시스(Weights & Biases)의 W&B Weave 등 주요 AI 안전성 모델 및 가드레일 제공업체들과의 통합을 지원한다.

이번에 공개된 네모 가드레일 마이크로서비스와 가락 툴킷은 모두 개발자와 기업들이 즉시 사용할 수 있다.

해당 기사의 원문은 엔비디아에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.