애피어(Appier)가 에이전틱 AI 시스템의 신뢰성을 강화하는 새로운 연구 결과를 발표했다. 핵심은 AI가 스스로 판단을 내릴 때 얼마나 믿을 수 있느냐는 문제다.

이번 논문의 제목은 "답할 것인가, 거절할 것인가, 추측할 것인가? 언어모델의 리스크 인지 의사결정(Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models)"이다. 다양한 리스크 조건에서 거대언어모델(LLM)이 어떻게 의사결정을 내리는지 체계적으로 측정할 수 있는 평가 프레임워크를 제시한다.

기업들의 AI 도입이 단순 보조 도구에서 자율형 AI 에이전트로 진화하면서, 신뢰성은 도입을 결정짓는 핵심 장벽이 되고 있다. 2025년 맥킨지(McKinsey) 조사에 따르면 기업의 62%가 이미 AI 에이전트 도입을 시작했지만, '부정확성'은 여전히 엔터프라이즈 AI 도입 시 가장 많이 언급되는 리스크로 꼽힌다.

기존 LLM 평가 방식은 주로 답변의 정답 여부에만 초점을 맞췄다. 그러나 기업 환경에서는 오답에 따른 비용과 답변 거부에 따른 가치가 상황마다 다르다. 애피어는 이를 해결하기 위해 정답 보상, 오답 패널티, 답변 거부 비용 등 구조화된 리스크 파라미터(매개변수)를 도입해 다양한 시나리오를 시뮬레이션했다. 이 프레임워크에서 모델은 답변을 생성하기 전에 자신의 수행 능력, 확신 수준, 리스크 조건을 종합적으로 평가한 뒤 답변, 거부, 추측 중 하나를 선택하도록 설계된다.

연구 결과, 다수의 선도적 LLM들이 리스크 시나리오 전반에서 전략적 불균형을 보이는 것으로 나타났다. 고위험 환경에서는 잠재적 손실이 있음에도 과도하게 추측하는 경향을 보였고, 저위험 환경에서는 반대로 지나치게 보수적으로 작동해 답변을 과하게 거부하는 모습을 보였다. 연구진은 이 문제가 단순한 지식 부족이 아니라, 모델이 여러 역량을 하나의 안정적인 의사결정 전략으로 통합하는 데 어려움을 겪기 때문이라고 분석했다.

애피어는 이를 해결하기 위해 의사결정 과정을 세 단계로 나누는 '스킬 분해(Skill Decomposition)' 접근법을 제안했다. 먼저 문제를 해결해 초기 답변을 생성하는 과업 실행(Task Execution), 이어 해당 답변에 대한 확신 수준을 평가하는 확신도 추정(Confidence Estimation), 마지막으로 리스크 조건에서의 결과를 기반으로 기대값을 추론하는 기대 가치 추론(Expected-Value Reasoning) 단계로 구성된다. 이 구조화된 추론 과정을 통해 모델은 답변을 제시할지, 거부하는 것이 더 나은 결과를 가져오는지를 스스로 판단할 수 있다.

치한 위(Chih-Han Yu) 애피어 최고경영자는 "에이전틱 AI가 기업의 핵심 업무에 도입되기 위해서는 AI를 더 똑똑하게 만드는 것뿐 아니라, 자율적 의사결정의 신뢰도를 높이는 것이 중요하다"며 "LLM의 리스크 인지 능력을 수치화된 방법론으로 구현한 이번 연구는 신뢰할 수 있는 엔터프라이즈 AI의 기반을 강화하고, 에이전틱 AI가 실제 비즈니스 가치와 ROI로 연결되도록 지원할 것"이라고 밝혔다.

이번 연구 결과는 애피어의 에이전틱 AI 기반 플랫폼인 애드 클라우드, 개인화 클라우드, 데이터 클라우드에 통합되어 기업들이 보다 신뢰 가능하고 안정적인 방식으로 자율형 워크플로우를 고도화할 수 있도록 지원하고 있다.

자세한 내용은 애피어 코리아 공식 홈페이지에서 확인할 수 있다.

이미지 출처: 에피어