BanglAssist: A Bengali-English Generative AI Chatbot
for Code-Switching and Dialect-Handling in Customer Service

3억 명의 벵골어 사용자를 위한 AI: 벵골어-영어 혼합어 처리하는 혁신 기술

생성형 인공지능(Generative AI)의 급속한 발전으로 인간-컴퓨터 상호작용(HCI) 분야가 크게 변화하고 있다. 특히 자연어 처리 시스템과 사용자 간의 소통 방식에 혁신이 일어나고 있다. 대규모 언어 모델(LLM)은 다양한 응용 분야에서 맥락에 맞는 텍스트를 생성할 수 있는 전례 없는 능력을 보여주고 있으며, 이는 고객 서비스처럼 개인화된, 맥락화된, 접근 가능하고 확장 가능한 소통이 중요한 영역에서 큰 기회를 제공하고 있다.

그러나 고객 서비스에 LLM을 도입하는 과정에서 여러 중대한 도전과제가 존재한다. 첫째, LLM은 '환각(hallucination)'이라 불리는 사실과 다른 정보를 생성하는 경향이 있다. 이는 LLM의 생성 메커니즘이 확률적 특성을 가지기 때문에 발생한다. 둘째, 이러한 모델들은 다언어 및 다문화 맥락에서 흔히 볼 수 있는 언어적으로 복잡한 시나리오를 처리하는 데 어려움을 겪는다. 여기에는 남아시아 영어(SAsE) 같은 특정 방언을 이해하지 못하거나, 코드 믹싱 또는 코드 스위칭(CSW)이라 불리는 동일 발화 내에서 다른 언어를 혼합하는 현상을 처리하지 못하는 문제가 포함된다.

ETH 취리히와 하버드 비즈니스 스쿨 연구진은 이러한 문제를 해결하기 위해 뱅글어시스트(BanglAssist)라는 다국어 생성형 AI 고객 서비스 에이전트를 개발했다. 이 챗봇은 벵골어-영어 혼합(일명 '방글리시')를 사용하는 상호 작용에서 사용자 경험을 향상시키기 위해 설계되었다.

RAG 기술과 2단계 검색 파이프라인으로 AI 환각 문제 해결

뱅글어시스트는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술을 활용하여 LLM의 생성 강점과 2단계 검색 파이프라인을 통합함으로써 응답을 사실적이고 맥락적으로 관련 있는 정보에 근거하도록 설계되었다. 스트리밍 서비스 제공업체(논문에서는 가명 MultilingualCo로 지칭)가 제공한 자주 묻는 질문(FAQ)이 뱅글어시스트의 응답을 위한 사실적 기반으로 사용되었다.

MultilingualCo는 인도 동부 지역 최대 엔터테인먼트 기업 중 하나에 속하며, 콘텐츠 라이브러리에는 800개 이상의 타이틀이 포함되어 있다. 약 200만 명의 활성 사용자와 주당 수백 건의 요청을 보유한 이 기업의 고객 서비스는 매일 영어, 벵골어, 방글리시로 작성된 요청을 처리하고 있다. MultilingualCo의 코드 스위칭과 방언 변형을 효과적으로 처리할 수 있는 적응형이고 확장 가능한 시스템에 대한 요구를 해결하기 위해 뱅글어시스트는 역할 놀이(role play)와 few-shot 프롬프팅을 통합했다.

이러한 접근 방식은 뱅글어시스트가 항상 MultilingualCo의 이름과 이익을 위해 행동하고 일관되게 사용자의 언어와 스크립트를 매칭하도록 보장한다. 개발의 기본 원칙은 결정론적 작업과 사용자 언어에 적응하는 것에 중점을 두었으며, 이는 문제 해결 과정에서 사용자의 인지적 노력을 줄이고 경험을 향상시킨다.

언어와 스크립트 매칭 100%, 응답 정확도 81%의 놀라운 성과

뱅글어시스트의 예비 평가는 MultilingualCo가 제공한 고객 서비스 로그를 기반으로 정량적 및 정성적 연구를 통해 수행되었다. 정량적 분석은 뱅글어시스트의 검색 성능을 평가하는 데 사용되었고, 정성적 분석은 생성 성능을 평가하는 데 사용되었다. 0.81의 전체 답변 정확도는 뱅글어시스트의 효과를 입증한다. 이 시스템은 쿼리 언어(벵골어, 영어, 방글리시)와 스크립트에 100% 정확하게 답변했다. 검색 결과는 다국어 쿼리를 검색하기 전에 영어로 번역하는 것의 효과를 강조하며, 특히 코드 스위칭의 복잡성을 다룰 때 다국어 모델을 적용하는 경우에 더욱 효과적임을 보여준다.

연구 결과는 생성형 AI 시스템이 적절한 설계를 통해 복잡한 언어 환경에 적응할 수 있는 잠재력도 강조한다. 특히 형식과 전달보다는 정보의 정확성과 포괄성에 중점을 둔 고품질 맥락 데이터와 결합할 때 더욱 효과적임을 보여준다.

세계 3대 인종의 언어 장벽 허문 AI: 디지털 형평성의 새로운 가능성

이 연구의 주요 기여는 세계 디지털 및 언어 환경에서 덜 대표되는 커뮤니티의 요구를 해결하기 위해 자연어 처리 기술을 활용하여 현재 인간-컴퓨터 상호작용 담론을 발전시키는 것이다. 이 작업은 개인화되고, 맥락화되며, 접근 가능하고 확장 가능한 다국어 및 다문화 솔루션 개발에 영감을 주어 디지털 상호 작용에서 포용성과 공정성을 향상시킨다. 연구진의 분석에 따르면 뱅글어시스트는 복잡한 고객 서비스 쿼리를 처리할 수 있는 잠재력과 더불어 개선 가능한 한계점도 가지고 있다. 후속 연구에서는 뱅글어시스트의 개선된 버전을 배포하여 실제 환경에서 성능을 테스트할 계획이다.

FAQ

Q. 생성형 AI 챗봇이 '환각'을 일으킨다는 것은 무엇을 의미하나요?

A: 생성형 AI 챗봇의 '환각'은 모델이 그럴듯해 보이지만 완전히 잘못된 정보를 생성하는 현상입니다. 이는 LLM이 응답을 생성할 때 확률 분포에 의존하기 때문에 발생합니다. 학습 데이터나 맥락 범위를 벗어난 쿼리에 직면했을 때, 모델은 가장 가능성이 높은 예측에 기반한 응답을 생성하는데, 그럴듯해 보여도 완전히 틀릴 수 있습니다.

Q. 코드 스위칭과 방언 처리는 왜 AI 챗봇에게 어려운 과제인가요?

A: 코드 스위칭은 한 문장 내에서 여러 언어를 혼합하는 현상으로, AI 모델은 이를 이해하기 어렵습니다. 또한 남아시아 영어와 같은 특정 방언은 주류 학습 데이터에 덜 표현되어 있어 AI가 제대로 처리하지 못합니다. 이러한 한계는 특정 커뮤니티의 AI 접근성을 제한하고 사용자 경험을 저하시킵니다.

Q. 검색 증강 생성(RAG)이 어떻게 AI 챗봇의 답변 정확도를 향상시키나요?

A: 검색 증강 생성은 AI가 답변을 생성하기 전에 관련 정보를 검색하여 맥락을 제공하는 기술입니다. 뱅글어시스트는 2단계 검색 파이프라인을 사용하여 먼저 유사성 기반으로 관련 문서를 찾은 다음, 가장 관련성 높은 항목을 재순위화합니다. 이 방식으로 AI는 신뢰할 수 있는 정보에 기반한 정확한 답변을 생성할 수 있습니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.