에이전틱 AI 기업 애피어가 거대언어모델의 한계 인식과 추론 언어 선택을 다룬 연구 논문 두 편을 발표했다. 검색한 정보만으로 답을 낼 수 없는 상황을 모델이 스스로 알아차리는지, 그리고 어떤 언어로 추론하느냐가 성능에 어떤 영향을 주는지를 각각 분석했다.

첫 번째 논문 「’해당 사항 없음’이 정답일 때 낮아지는 정답률: 객관식 문항 응답에서 나타나는 인간과 LLM의 유사 패턴」은 정답이 존재하지 않는 상황을 만들기 위해 객관식 문항에 ‘해당 사항 없음’ 선택지를 넣었다. 규모가 서로 다른 주요 거대언어모델 28종을 실험한 결과, ‘해당 사항 없음’이 정답인 문항에서 모델 정확도가 30~50% 하락했다. 모델이 관련 지식을 갖고 있어도 유효한 정답이 제시되지 않으면 정보가 부족하다는 사실을 인식하기보다 차선이거나 틀린 선택지를 고르는 경향을 보였다는 것이다.

애피어 연구팀은 이 문제를 개선하기 위해 지도 미세조정과 직접 선호 최적화 두 방식을 학습에 적용했다. 지도 미세조정은 정답 사례를 보여 주며 모델을 다듬는 방식이고, 직접 선호 최적화는 정답과 오답을 함께 제시해 둘의 차이를 학습하게 하는 방식이다. 직접 선호 최적화를 적용했을 때 정답이 없는 문항을 식별하는 정확도가 약 30%포인트 높아졌다.

다만 이 방식이 모든 질문에 통하지는 않는다. 애피어는 정답이 명확히 정의돼 있고 선택지가 서로 독립적인 경우에 가장 효과적이라고 밝혔다. 기업 환경에서는 검색 정확도를 높이는 것과 별개로, AI가 행동에 들어가기 전에 확보한 정보가 충분한지 확인하는 검증 단계를 두고 부족하면 추가 검색을 수행하거나 사람에게 판단을 요청하도록 설계할 수 있다.

두 번째 논문 「언어가 중요한 이유: 다국어 입력과 추론 경로는 대규모 추론 모델에 어떤 영향을 미치는가?」는 모델이 내부적으로 사용하는 추론 언어를 다뤘다. 이용자가 다른 언어로 질문해도 모델은 영어처럼 학습 데이터가 풍부한 고자원 언어로 추론하는 경우가 많았다. 일부 모델에서는 내부 추론 언어와 최종 답변 언어가 일치하지 않는 비율이 90%를 넘었다.

연구팀은 프롬프트 시작 문구를 지정해 특정 언어로 추론하게 하는 텍스트 프리필링 기법으로 언어별 성능을 비교했다. 영어를 비롯한 고자원 언어는 수학과 지식 기반 과업에서 더 높은 성능을 기록했고, 문화적 이해가 필요한 과업에서는 현지 언어로 추론했을 때 지역 맥락이 더 잘 반영됐다. 안전성 시험에서도 현지 언어 추론이 유해하거나 불법적인 질문을 식별하는 데 더 효과적이었다.

애피어는 이 결과를 바탕으로 추론 언어 라우팅이라는 활용 방식을 제시했다. 에이전틱 AI가 모델과 도구, 데이터를 고르는 데서 나아가 과업 유형과 지역, 문화적 맥락에 따라 추론 언어까지 상황에 맞게 선택하는 구조다. 내부 추론에 어떤 언어를 쓰든 최종 답변은 이용자가 선호하는 언어로 제공할 수 있다.

치한 위 애피어 최고경영자 겸 공동창업자는 “AI가 자율적으로 의사결정을 내리기 시작하면서 모델이 정답을 내는지만 평가해서는 충분하지 않다”며 “정보가 부족한 상황을 스스로 인식하고 행동을 조정할 수 있는지, 각 과업에 가장 적합한 추론 방식을 선택할 수 있는지도 함께 평가해야 한다”고 말했다.

애피어는 이번 연구 성과를 애드 클라우드와 개인화 클라우드, 데이터 클라우드 세 제품군에 적용하는 방안을 검토할 계획이다.

자세한 내용은 애피어에서 확인할 수 있다.

이미지 출처: 애피어