앤트로픽의 AI 모델 ‘클로드 오퍼스 5.5’를 쓰는 이용자들이 한국어로 질문해도 영어 답변을 받는 사례를 잇따라 신고하고 있다. 앤트로픽의 코딩 도구 ‘클로드 코드’ 공식 깃허브 저장소에는 9월부터 한국어와 일본어, 독일어, 프랑스어, 포르투갈어, 스페인어, 폴란드어, 중국어 번체 이용자가 같은 현상을 보고한 이슈가 올라왔다. 11월 13일 오전 기준 해당 이슈는 모두 열린 상태이며, 앤트로픽 직원의 답변은 확인되지 않았다.

한국어 이용자 신고 사례

현지 시각 11월 10일 등록된 이슈(#108811)에서 한국어 이용자는 클로드 코드의 응답 언어를 한국어로 설정하고, 모든 응답을 한국어로 쓰라는 전역 규칙과 대화마다 적용하는 규칙까지 넣었다고 밝혔다. 이 이용자에 따르면, 도구 호출 사이의 진행 설명이 “The user says…” 같은 영어 문장으로 시작했고, 긴 구현 작업 중에는 최종 답변 두 개가 모두 영어로 출력됐다.

11월 5일 등록된 이슈(#107449)는 새 세션의 첫 답변부터 영어로 출력된 사례를 보고했다. 작성자는 데스크톱 앱 코드 탭에서 오퍼스 5.5를 썼고, 한 세션에서 응답 언어를 5번 바로잡아야 했다고 밝혔다. 작성자가 응답 언어 설정을 한국어로 바꾼 뒤에도 13번째부터 21번째 답변 가운데 5개는 한글 비율이 1% 이하였다. 11월 3일에는 한국어로 대화해도 클로드가 계속 영어로 답한다며, 영어를 잘하지 못해 불편하다는 이슈(#106967)도 등록됐다.

이용자 측정 영어 답변 비율

9월 23일 일본어 이용자가 등록한 이슈(#96326)에는 다른 이용자들의 측정 결과가 댓글로 공유됐다. 한 이용자는 30일 동안 영어 답변 비율이 이전 모델 ‘클로드 오퍼스 5’에서 0.3%, 오퍼스 5.5에서 15.3%였다고 밝혔다. 히브리어 이용자는 오퍼스 5에서 1.1%(174건 중 2건), 클로드 코드 2.1.280 버전의 오퍼스 5.5에서 8.5%(164건 중 14건)였고, 2.1.282 버전에서는 31.8%(22건 중 7건)였다고 전했다.

중국어 번체 이용자가 올린 이슈(#96601)에서는 147개 대화 기록을 분석한 결과 영어로 출력된 답변 비율이 오퍼스 5에서 0.4%(2,445개 중 9개), 오퍼스 5.5에서 4.2%(143개 중 6개)였다. 같은 이슈의 다른 이용자는 오퍼스 5.5의 최종 답변 21개 가운데 10개(48%)가 영어였고, 오퍼스 5에서는 175개 가운데 영어 답변이 없었다고 밝혔다. 이용자마다 측정 방법과 표본 수가 달라 수치를 직접 비교하기는 어렵다.

영어 전환 발생 조건

신고 내용을 보면 영어 전환은 영어로 된 도구 실행 결과나 하위 에이전트 보고, 시스템 안내 문구를 읽은 직후에 자주 발생했다. 독일어 이용자(#106911)는 약 일주일 전부터 도구 호출 사이 설명과 도구 설명, 가끔은 최종 답변 전체가 영어로 바뀐다고 밝혔다. 포르투갈어 이용자(#108671)는 11월 9일 긴 세션에서 영어 답변이 최소 6번 출력됐고, 모델이 프로젝트 지침 파일(CLAUDE.md)에 ‘영어 사용 금지’ 규칙을 직접 적은 지 몇 분 뒤에도 영어로 답했다고 전했다.

#96326의 한 일본어 이용자가 출력 형식별로 측정한 결과, 간결한 응답 형식(Concise)에서는 31건 가운데 14건이 영어였고, 기본 형식에서는 4건 모두 일본어였다고 밝혔다. 이 이용자는 하위 에이전트에서는 언어 전환이 일어나지 않았다고 밝혔다. 폴란드어 이용자(#102200)는 데스크톱 앱 코드 탭의 다음 단계 안내 상자에서 요약과 질문은 영어로, 버튼 이름은 폴란드어로 표시된다고 신고했다.

이용자 대처법

첫째, 출력 형식을 기본값으로 되돌린다. 앞서 소개한 #96326 측정에서 간결한 응답 형식은 31건 가운데 14건이 영어였지만, 기본 형식은 4건 모두 일본어였다. 간결한 형식을 쓰고 있다면 클로드 코드 출력 형식 설정에서 기본 형식으로 바꿔 보는 것이 가장 간단한 방법이다.

둘째, 도구를 실행할 때마다 응답 언어를 다시 알려 주는 ‘도구 사용 후 훅(PostToolUse hook)’을 설정한다. 훅은 클로드 코드가 특정 시점에 자동으로 실행하는 사용자 설정 명령이다. 설정 파일(~/.claude/settings.json)의 hooks 항목에 PostToolUse 이벤트를 추가하고, 명령이 “다음 답변은 한국어로 작성한다”는 문구를 추가 맥락(additionalContext)으로 돌려주도록 만들면 된다. 일본 기술 블로그 스마트스코프가 비공식으로 시험한 결과, 이 훅이 없을 때는 답변 26건 가운데 22건이 영어였고, 훅을 쓰자 27건 모두 원래 언어로 출력됐다.

셋째, 답변이 끝나는 시점에 실행되는 ‘중지 훅(Stop hook)’에 한국어 안내 문구를 넣는다. #107449 작성자는 이용자 메시지로 시작한 답변 6건 가운데 5건이 영어였지만, 한국어 안내 문구를 넣은 중지 훅이 시작한 답변은 4건 모두 한국어였다고 밝혔다.

넷째, 영어 답변이 계속 반복되면 /model 명령으로 이전 모델인 오퍼스 5로 바꿔 쓰는 방법도 있다. 이용자 측정에서 오퍼스 5의 영어 답변 비율은 0.3~1.1% 수준이었다. 다만 오퍼스 5.5의 성능 개선은 포기하게 된다.

다섯째, API로 클로드를 서비스에 붙여 쓰는 개발자는 시스템 프롬프트에 응답 언어를 명시한다. 앤트로픽 개발자 문서는 클로드가 대화에서 응답 언어를 추론하지만, 원하는 언어를 시스템 프롬프트에 적는 것이 가장 안정적이라고 안내한다. 문서는 “사용자가 어떤 언어로 쓰든 항상 프랑스어로 답하라”와 같은 지시를 예로 들었다. 같은 문서에 따르면, 오퍼스 5.5의 한국어 다국어 평가 점수는 영어 대비 99.1% 수준이다.

앤트로픽은 이번 현상의 원인과 수정 일정을 밝히지 않았다. 위 방법은 이용자들이 공유한 임시 대처법으로, 효과는 사용 환경에 따라 다를 수 있다.

자세한 내용은 깃허브에서 확인할 수 있다.

▶︎ 관련 기사: 클로드 오퍼스 5.5, 한국어 설정에도 영어로 답변…신고 잇따라

이미지 출처: 앤트로픽