Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs

기존 평가 방식, AI의 ‘문화 정렬’을 왜곡할 수 있다

대형 언어 모델(LLM)의 문화적 정렬(cultural alignment)을 평가하기 위한 기존 방식이 신뢰할 수 없다는 연구 결과가 발표됐다. MIT CSAIL 연구팀은 논문에서 현재 주류로 사용되고 있는 설문 기반 평가 방식이 세 가지 핵심 가정—안정성(stability), 외삽 가능성(extrapolability), 조정 가능성(steerability)—을 만족하지 못한다는 점을 실증적으로 보여줬다. 연구에 따르면, 단순한 질문 형식 변화나 문맥 설정만으로도 모델의 응답이 실제 문화 간 차이를 넘어설 만큼 흔들릴 수 있으며, 특정 문화 시각을 일관되게 반영하도록 유도하는 것도 실패하는 경우가 대부분이었다.

예를 들어, 동일한 문화적 가치 질문에 대해 응답 항목의 순서(오름차순 vs 내림차순)나 응답 형식(숫자 vs 텍스트)만 바꿔도 모델의 답변이 의미 있는 수준으로 달라졌다. 연구진은 이를 "설문 디자인 방식의 작은 차이가 실제 국가 간 문화 차이보다 더 큰 변화를 유발한다"라고 분석했다.

문화적 가치관 간 일관된 추론 불가능… "하나 보고 열을 알 수 없다"

LLM의 문화 정렬을 평가할 때, 일부 이슈에 대한 응답을 근거로 해당 문화 전반과의 정렬을 추론하는 것은 신뢰할 수 없다는 점도 확인됐다. 연구진은 호프스테드(Hofstede)의 6가지 문화 차원을 기준으로 인간과 LLM의 응답을 클러스터링해 비교한 결과, 관측된 차원이 적을수록 군집화 정확도가 무작위 추정에 가까워진다는 점을 발견했다. 특히 일부 문화 차원은 정렬 예측에 도움이 됐지만, 다른 차원은 오히려 정렬을 흐리는 방향으로 작용했다.

이러한 결과는 기존 평가 방식이 제한된 문화 이슈에 대한 응답만으로 LLM의 전체적인 문화 정렬 수준을 판단하려 했던 관행에 의문을 던진다. 연구진은 "특정 문화 항목에서 정렬돼 있다고 해서, 그 문화 전체의 가치관과 일관된 응답을 보일 것이라는 가정은 잘못됐다"고 결론지었다.

프롬프트로 특정 문화 시각을 ‘입히기’? 실전에서는 실패

프롬프트를 통해 LLM이 특정 문화적 관점을 따르도록 조정할 수 있다는 주장도 실험적으로 반박됐다. 연구진은 기존 연구에서 제시된 문화 유도 프롬프트뿐 아니라 최적화된 few-shot 프롬프트까지 활용했지만, LLM 응답은 실제 국가별 인간 응답과 크게 달랐다. 시각화 결과에서는 인간 응답은 국가별로 군집화되는 반면, LLM 응답은 모델별로 뭉치며, 일관성이 없고 인간과 유사하지 않은 경향을 보였다.

구체적으로, 인간 간 문화 응답 간 평균 거리보다 LLM-인간 간 응답 거리가 6배 이상 멀다는 사실은, 아무리 정교한 프롬프트를 사용하더라도 LLM이 특정 문화를 정밀하게 모사하는 데는 한계가 있다는 점을 보여준다.

프롬프트 한 줄에도 AI의 ‘가치 판단’이 완전히 달라진다

마지막으로, LLM 평가의 조작 가능성을 보여주는 사례 연구도 포함됐다. 기존 연구에서는 LLM이 특정 국가의 생명을 다른 국가보다 더 가치 있게 여긴다고 해석했지만, 이는 중립 선택지를 제거한 4점 척도 기반 강제 선택 평가 방식 때문이었다. 이번 연구에서는 동일한 문항에 5점 척도를 적용해 중립 응답을 허용하자, GPT-4o는 모든 국가 쌍 비교에서 '차이 없음' 응답을 선택했다.

이는 LLM의 응답이 내재된 가치 체계를 반영하기보다는, 주어진 평가 방식에 맞춰 구성된 결과일 가능성이 크다는 점을 시사한다. 즉, 평가 설계가 편향되면 LLM이 가진 실제 정렬 특성과 무관한 결론을 도출할 수 있다는 것이다.

이번 논문은 LLM의 문화 정렬 평가가 본질적으로 불안정하며, 현재의 평가 방식은 너무 쉽게 결과가 달라질 수 있다는 점에서 신중한 해석이 필요하다는 메시지를 전달한다. 향후에는 프리레지스터(pre-registration)나 레드팀 평가 등 사회과학적 검증 방법론을 AI 평가에도 도입해 신뢰도를 높일 필요가 있다는 제언도 포함돼 있다.

FAQ

Q. AI가 실제로 가치관을 가지지 않는다는 건 무슨 의미인가요?

A. MIT 연구팀은 GPT-4o, Claude, Gemini 등 최신 LLM이 특정 문화적 질문에 대해 일관된 입장을 보이지 않는다는 사실을 밝혔습니다. 질문 순서, 문맥, 응답 형식만 바꿔도 응답이 크게 바뀌며, 이는 인간이 갖는 안정된 가치관과는 다릅니다. 즉, AI가 보여주는 ‘신념’은 고정된 가치관이 아닌 주어진 조건에 따라 달라지는 즉흥적 반응에 가깝습니다.

Q. 프롬프트를 잘 쓰면 AI가 특정 문화적 시각을 따르게 할 수 있지 않나요?

A. 이론적으로는 가능하다고 여겨졌지만, 실험 결과는 달랐습니다. MIT의 실험에서 프롬프트를 사용해 AI에게 특정 국가의 시각을 반영하라고 유도했음에도 불구하고, AI의 응답은 해당 국가 사람들의 응답과 크게 달랐습니다. 프롬프트 조작만으로는 실제 인간 문화의 일관성과 정합성을 재현하기 어렵다는 것이 확인된 것입니다.

Q. 그럼 AI의 문화 정렬을 어떻게 평가해야 하나요?

A. 연구진은 현재의 설문 기반 방식은 지나치게 단순화돼 있으며, 평가 방식 자체가 결과를 왜곡할 수 있다고 경고합니다. 앞으로는 평가 문항을 사전 공개하는 프리레지스터(pre-registration), 다양한 시나리오에서 평가하는 레드팀 기법 같은 사회과학적 검증 방식을 도입해 더 신뢰할 수 있는 평가 체계를 만들어야 한다고 제안하고 있습니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.