오픈AI가 계약직 수백 명을 고용해 실제 챗GPT 이용자의 대화를 읽게 하고 있다고 404미디어가 현지 시각 9월 14일 보도했다. 사내 명칭은 프로젝트 릴리다.

계약직은 이용자가 실제로 입력한 내용과 챗GPT의 답변을 함께 보고 1점부터 7점까지 점수를 매긴 뒤 의견을 적는다. 이 평가는 모델을 다시 학습시키는 과정에 반영된다. 보도에 따르면 이들은 크로싱 허들과 머코어라는 인력 중개 업체를 통해 모집되며, 한 작업자는 시간당 50달러(약 6만 7,000원) 이상을 받는다고 밝혔다.

문제로 지적된 부분은 평가 화면에 표시되는 이용자 기억 요약이다. 챗GPT가 이전 대화에서 축적한 내용을 정리해 보여 주는 항목인데, 여기서 이용자의 대략적인 거주지와 직업, 개인 사정이 드러날 수 있다. 계약직은 이용자 계정명을 볼 수 없고 오픈AI는 개인정보를 제거한 뒤 전달한다고 설명했지만, 민감한 내용이 그대로 넘어가는 경우가 있다는 점은 회사도 인정했다.

이런 절차가 필요한 이유는 모델 학습 방식에 있다. 대규모 언어 모델은 사람이 답변에 매긴 점수를 학습 신호로 삼아 응답을 조정하는데, 이를 사람 피드백 기반 강화학습이라고 부른다. 실제 이용자가 던지는 질문은 연구용으로 작성한 예시보다 형태가 다양해 평가 자료로서의 가치가 크다고 업계는 설명한다.

챗GPT 이용자는 9억 명을 넘는다. 개인 요금제에서는 대화 내용을 학습에 사용하는 설정이 기본으로 켜져 있으며, 이용자가 설정의 데이터 제어 항목에서 직접 끌 수 있다. 기업용과 교육용 요금제는 기본적으로 학습에 사용되지 않는다.

404미디어는 앤트로픽과 구글도 사람이 직접 검토하는 비슷한 절차를 운영하고 있다고 덧붙였다.

자세한 내용은 404 미디어에서 확인할 수 있다.

이미지 출처: 오픈AI