뉴캐슬 대학교(Newcastle University) 연구진이 발표한 논문에 따르면, 현재 주요 소셜미디어 플랫폼들이 AI 기반 추천 시스템으로 사용자 경험을 개선하려 노력하고 있지만, 사용자들이 추천 이유를 이해하지 못해 그 가치가 사라지고 있다. 페이스북(Facebook)은 콘텐츠 생성, 친구 추천, 광고 개인화를 위해 다양한 AI 도구를 사용하고 있으며, 인스타그램(Instagram)과 X(구 트위터)도 콘텐츠 생성과 광고 개인화에 AI를 활용하고 있다. 링크드인(LinkedIn) 역시 사용자에게 직업 관련 콘텐츠를 추천하고 있다.

그러나 현재의 설명 방식은 모든 사용자에게 동일한 형태의 설명을 제공하는 '원사이즈 핏 올(one-size-fits-all)' 접근법을 사용하고 있어 사용자의 다양성을 무시하고 있다. 예를 들어, X는 광고 추천에 대해서만 설명을 제공하고 게시물과 계정 추천에 대해서는 설명하지 않는다. 인스타그램은 광고, 게시물, 탐색 페이지에 대한 설명을 제공하지만 릴스와 계정 추천은 여전히 블랙박스로 남아있다. 또한 이들 플랫폼의 설명은 일반적이고 텍스트 기반이며 정적이어서 모든 사용자에게 기본적인 추론만을 동일한 방식으로 전달하고 있다.

기술 전문가와 일반 사용자, 전혀 다른 설명 요구사항 가져

연구진이 실시한 106명 대상 설문조사에서 흥미로운 결과가 나타났다. 응답자의 70%가 소셜미디어 AI 추천에 대한 설명을 원한다고 답했지만, 설명 유형에 대한 선호도는 크게 달랐다. 50%의 응답자는 "이 게시물은 당신이 비슷한 주제를 팔로우하기 때문에 표시됩니다"와 같은 간단한 설명을 선호했다. 반면 26%는 "이 추천은 협업 필터링 알고리즘을 기반으로 생성되었습니다"와 같은 기술적 세부사항을 포함한 설명을 원했다.

한 참가자는 "명확하고 간단하다면 도움이 될 것"이라고 답했고, AI 전문가인 다른 참가자는 "추천이 어떻게 만들어지는지에 대한 이해를 높여준다면 유용할 것"이라고 답변했다. 이는 사용자의 기술적 배경에 따라 설명에 대한 요구사항이 완전히 다르다는 것을 보여준다.

연구진은 현재 설명 가능한 AI(XAI) 기술들이 사용자의 다양한 요구를 충족시키지 못하고 있다고 지적했다. SHAP(SHapley Additive exPlanations)은 전역적이고 지역적 기능 모두를 제공하며 시각적 지원도 우수하지만, 높은 계산 비용과 복잡성 때문에 일반 사용자에게는 적합하지 않다. LIME(Local Interpretable Model-agnostic Explanations)은 간단하고 구현이 쉬우며 사용자 친화적 설명 생성이 가능하지만, 데이터 샘플 변화에 민감하고 대화형 시각화가 제한적이다.

LIME 기반 하이브리드 설명 시스템으로 모든 사용자 만족시킨다

연구진이 제안한 새로운 시스템은 사용자 유형과 상황에 따라 맞춤형 시각적 설명을 제공하는 3단계 프레임워크를 제시했다. 1단계에서는 기술적 사용자와 비기술적 사용자를 구분하여 모형 시각 디자인을 통한 사용자 연구를 진행한다. 2단계에서는 설문조사를 바탕으로 상황별 사용자 시나리오를 정의하고 그들의 요구를 설명 형식에 매핑한다. 3단계에서는 상황 인식 설명 옵션을 갖춘 작동하는 프로토타입을 개발하고 사용자 신뢰와 결정에 미치는 영향을 평가한다.

이 시스템은 LIME을 기반으로 한 하이브리드 설명 접근법을 채택한다. 기술적 성향의 사용자에게는 추천에 가장 큰 영향을 미친 특성을 강조하는 LIME 생성 막대 차트를 표시한다. 반면 비기술적 사용자에게는 동일한 LIME 출력에서 도출된 아이콘과 평이한 언어로 된 근거를 제공한다. 예를 들어, 캐주얼 브라우징 의도를 가진 사용자에게는 간단한 설명을, 제품 결정을 원하는 사용자에게는 비교 차트를 보여줄 수 있다.

아마존 개인화 플랫폼(Amazon Personalize Platform)을 통해 수집된 사용자 참여 데이터는 개인화된 추천을 생성하는 데 사용되며, 이후 설명 엔진에 입력되어 사용자 카테고리와 상황에 맞춘 설명을 생성한다.

X(트위터) 30명 대상 공개 파일럿으로 신뢰도·결정 시간 검증 예정

연구진은 X(구 트위터)를 사례 연구로 선정해 시각화 도구를 개발하고 테스트할 예정이라고 밝혔다. X가 AI 설명 가능성과 투명성 개선에 명백한 관심을 보이고 있으며 많은 전문가와 연구자들과 협업해 왔기 때문이다. 또한 X의 콘텐츠 대부분이 API를 통해 접근 가능하고, 짧고 텍스트 기반이며 타임스탬프가 있는 콘텐츠의 특성과 메타데이터의 가용성이 소셜미디어 추천을 모방하고 설명 가능한 AI 시각화 도구를 개선하는 데 이상적이라고 판단했다.

30명의 X 사용자를 대상으로 한 공개 파일럿 연구에서는 신뢰도, 결정 시간, 사용성 지표를 사용해 프레임워크의 효과를 검증할 예정이다. 이를 통해 제안된 시스템이 의사결정과 신뢰도에 미치는 실제 영향을 측정할 계획이다.

연구진은 향후 대화형 대시보드, 설명 깊이를 위한 대화형 슬라이더, 접근성을 위한 음성 기반 설명 등을 포함한 추가 설명 모드로 프레임워크를 확장할 예정이라고 밝혔다. 또한 사용자 유지, 신뢰 보정, 소셜미디어에서의 알고리즘 편향에 대한 저항력에 대한 설명 품질의 장기적 효과를 조사하는 데 중점을 둘 계획이다.

FAQ

Q: 현재 소셜미디어 플랫폼의 AI 추천 설명에는 어떤 문제가 있나요?

A: 페이스북, 인스타그램, X 등 주요 플랫폼들이 모든 사용자에게 동일한 형태의 간단하고 일반적인 설명만을 제공하고 있어, 기술 전문가와 일반 사용자의 서로 다른 요구사항을 충족시키지 못하고 있습니다. 또한 일부 추천 유형에 대해서는 아예 설명을 제공하지 않는 경우도 많습니다.

Q: 새로운 맞춤형 설명 시스템은 어떻게 작동하나요?

A: LIME 기술을 기반으로 사용자의 기술적 배경과 상황에 따라 다른 형태의 설명을 제공합니다. 기술 전문가에게는 상세한 막대 차트와 기술적 정보를, 일반 사용자에게는 아이콘과 쉬운 언어로 된 설명을 보여줍니다. 또한 캐주얼 브라우징이나 구매 결정 등 사용 목적에 따라서도 설명 방식을 조정합니다.

Q: 이 연구의 검증은 어떻게 이루어지나요?

A: X(구 트위터) 플랫폼에서 30명의 사용자를 대상으로 공개 파일럿 연구를 진행할 예정입니다. 신뢰도, 의사결정 시간, 사용성 등의 지표를 통해 새로운 설명 시스템이 사용자의 AI 추천에 대한 이해와 신뢰에 미치는 실제 영향을 측정할 계획입니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations

이미지 출처: Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.