AI 모델 공유 플랫폼 허깅페이스의 아이린 솔라이만 최고정책책임자가 AI 평가 결과를 믿으려면 다른 사람이 같은 평가를 다시 해 볼 수 있어야 한다고 말했다. 테크크런치는 솔라이만이 지난주 미국 샌프란시스코에서 진행된 테크크런치 디스럽트 행사에서 이같이 말했다고 10월 19일(현지 시각) 보도했다.

최근 AI 업계에서는 ‘내장형 평가자’가 거론되고 있다. 중립적인 외부 평가자를 AI 기업 안에 두고 모델의 안전성을 점검하게 하는 방식이다. 잇단 AI 안전 사고 이후 AI 기업들은 정부 규제보다 이 방식을 선호해 왔다. 하지만 평가자가 실제로 중립적인지, 평가 능력을 갖췄는지에 대해서는 의문이 제기된다. 앤트로픽이 첫 내장형 평가자로 컨설팅 기업 액센추어를 선정하자, 컨설팅 회사가 이 일을 맡을 자격이 있느냐는 비판이 제기됐다.

솔라이만은 평가 결과를 신뢰할 수 있는지 판단하는 핵심 기준으로 재현 가능성을 들었다. 평가자가 모델에 충분히 접근할 수 있어야 한다는 점도 강조하며, 모델 설계값을 공개하는 오픈 웨이트와 연결해 설명했다. 그는 AI 평가가 아직 발전 중인 분야여서 서로 다른 평가 결과를 비교하는 방법이 확립되지 않았고, 한번 개발한 평가도 금세 효과가 떨어진다고 지적했다. 업무별로 어떤 평가자가 적합한지에 대한 기준도 표준화가 필요하다고 말했다.

평가 대상도 바뀌고 있다. 솔라이만은 AI 에이전트 평가가 매우 어렵고 비용이 많이 든다고 말했다. 이용자가 모델을 쓸 때 거치는 도구인 ‘하네스’에 대한 평가도 부족하다고 지적했다. 하네스는 모델 성능에 큰 영향을 주며, 성능이 낮은 모델도 하네스가 좋으면 최고 성능 모델을 앞설 수 있다는 설명이다.

자세한 내용은 테크크런치에서 확인할 수 있다.

이미지 출처: 허깅페이스