과학기술정보통신부와 정보통신산업진흥원이 7월 28일 독자 AI 파운데이션 모델 프로젝트 국민 평가단을 공모한다고 발표했다. 모집은 7월 28일부터 8월 4일 오후 6시까지 일반 국민 200명을 대상으로 하고, 평가는 8월 8일 토요일부터 11일 화요일까지 진행된다. 신청은 정보통신산업진흥원 누리집 게시물에 포함된 QR코드로 받는다.

평가단은 주민등록인구 통계를 기준으로 성별·나이별 비례 할당을 설정해 선정한다. 대표성을 높이기 위해서다. 선정 결과는 개별 통보하며, 뽑힌 200명은 정예 팀의 독자 AI 모델을 직접 사용한 뒤 절대평가로 점수를 매긴다. 그 결과는 2차 단계평가에 반영된다. 다만 선정 이후 천재지변 등으로 참여하지 못하면 평가에 반영되지 않는다.

2차 단계평가는 성능 비교 평가와 전문가 평가, 국민 평가단이 참여하는 사용자 평가를 함께 진행한다. 세부 평가 기준과 결과는 8월 중 일괄 공개될 예정이다. 지난 1월 발표된 1차 단계평가에서 사용자 평가를 담당한 인원은 AI 스타트업 대표를 비롯한 전문 사용자 49명이었다. 이번에는 일반 국민 200명으로 규모와 구성이 함께 바뀌었다. 1차 배점은 벤치마크 40점과 전문가 평가 35점, 사용자 평가 25점을 합쳐 100점 만점이었고, 성능을 보는 AI 프런티어 인덱스와 사용성·파급효과를 보는 AI 디퓨전 인덱스가 지표로 쓰였다.

2차 평가에 참여하는 네 팀은 최근 잇따라 모델을 공개했다. SK텔레콤은 7월 29일 에이닷엑스 케이투를 허깅페이스에 공개했다. 매개변수 6,880억 개 규모로, 이전 모델 케이원 대비 14개 벤치마크 평균이 32.2%포인트, 장문 이해와 에이전트 항목이 83.9%포인트 높아졌다는 것이 회사 설명이다. 자체 설계한 희소 게이트 어텐션 구조를 적용했다.

LG AI연구원은 7월 31일 케이 엑사원 2.0을 공개했다. 전체 매개변수 7,500억 개에 토큰당 활성 매개변수 370억 개인 전문가 혼합 구조이고, 컨텍스트 창은 26만 2,144 토큰이다. 라이선스를 아파치 2.0으로 바꿔 상업 이용 제한을 없앴다. 자체 공개한 24개 벤치마크 평균은 70.1점으로, 1차 때 제출한 2,360억 개 모델의 63.3점보다 높다.

업스테이지는 7월 22일 솔라 오픈2를 공개했다. 전체 2,500억 개에 활성 150억 개인 전문가 혼합 구조로, 48개 층 가운데 75%에 선형 어텐션을 섞었고 컨텍스트 창은 100만 토큰이다. 회사가 밝힌 성적은 MMLU-프로 86.2점, 라이브코드벤치 92.4점이다.

모티프테크놀로지스가 허깅페이스에 공개한 모티프 3는 전체 약 3,140억 개에 활성 약 130억 개 규모다. 다만 현재 공개된 것은 프리뷰 성격의 베타 체크포인트이고, 라이선스도 비상업 연구·교육용으로 제한돼 상업 이용에는 사전 서면 허가가 필요하다.

해외 매체 라이트리딩과 테크타임스는 이번 8월 평가를 네 팀 가운데 세 팀만 남기는 관문으로 전했다. 1차 평가에서는 네이버클라우드가 점수로는 상위권에 들고도 독자성 기준을 채우지 못해 제외됐다. 당시 정부는 가중치를 초기화한 뒤 전 과정을 학습했는지를 따지는 기술적 기준과 자주권·통제권을 보는 정책적 기준, 라이선스 준수를 보는 윤리적 기준 세 가지를 제시했다.

▶︎ 관련 기사: “500억 지원 놓고 한 팀 탈락”… 국내 AI 빅5, 국가대표 모델 선발전 돌입

자세한 내용은 과학기술정보통신부에서 확인할 수 있다.

이미지 출처: 이디오그램 생성