AI 모델 개발사 노스 리서치가 중국 알리바바의 오픈 모델 ‘큐원 3.8-27B’를 추가 학습해 중국 정부 시각을 그대로 따르는 답변을 줄인 모델 ‘아레테-27B(Arete-27B)’를 공개했다. 노스 리서치 블로그에 따르면, 이 모델은 노스 리서치가 만든 평가 문항에서 선전성 답변 비율을 22%에서 0.9%로 낮췄다. 노스 리서치는 ‘헤르메스’ 모델 시리즈를 개발한 기업이다.

노스 리서치는 답변이 사실 대신 중국 정부의 공식 설명을 자기 입장처럼 받아들이는 경우를 선전성 답변으로 정의했다. 평가 문항은 표현의 자유, 국가 이념, 국가와 자유 시장, 교육, 개인정보와 감시, 민주주의, 환경의 7개 분야 803개다. 채점은 xAI의 그록 4.7이 맡았고, 모델마다 5번씩 실행했다.

사실 전달 점수는 5점 만점에 2.32점에서 2.98점으로 올랐다. 표현의 자유 분야에서는 사실 점수가 0.89점에서 2.44점으로, 선전성 답변 비율은 60%에서 1%로 바뀌었다. 0점을 받은 답변은 803개 중 359개에서 216개로 줄었다.

학습에는 강화학습이나 모델 구조 변경 없이 예시 답변을 보여 주는 지도 학습만 썼다. 교사 모델로는 목표 행동 평가에서 좋은 결과를 낸 오픈 모델 가운데 가장 나은 ‘잉클링’을 골랐다. 이용약관 제약을 피하려고 오픈 모델을 택했다는 설명이다. 학습 데이터는 예시 2만 8,886개, 약 5,280만 토큰 분량이다. 토큰은 AI가 글을 처리하는 기본 단위다.

일반 성능 평가인 헤르메스 벤치(Hermes Bench) 점수는 65.77%에서 65.60%로 비슷했고, 터미널 명령 수행 평가(Terminal-Bench 2.1)에서는 67%에서 70%로 올랐다. 노스 리서치는 이 상승이 실험 설정 차이 때문일 수 있다며 성능 향상으로 주장하지 않았다.

노스 리서치는 “어떤 오픈 모델의 가치관도 미세 조정 한 번이면 바뀔 수 있다(The values in any open model are only ever one fine-tune away)”고 밝혔다. 아레테-27B는 허깅페이스에 아파치 2.0 라이선스로 공개됐고, 평가 문항과 학습 데이터도 함께 공개됐다.

자세한 내용은 노스 리서치에서 확인할 수 있다.

▶︎ 관련 기사: ‘헤르메스’ 개발사 노스 리서치, 1,205억 원 유치

이미지 출처: 노스 리서치