엔지니어가 이미 다듬어 놓은 코드에서 AI가 추가 개선점을 찾아냈다. 바이두는 11월 9일 공식 연구 블로그에서 자동 연구 시스템 ‘바이두 어니 이볼브(ERNIE Evolve)’를 공개했다. 어니 이볼브는 코드 저장소, 최적화 목표, 평가 기준을 받으면 격리된 환경 안에서 코드를 고치고 실험을 반복해, 독립 평가를 통과한 변경만 남기는 시스템이다. 바이두는 이 시스템을 개발 중인 ‘어니-5.5-플래시’ 추론 최적화에 적용해 쿤룬신 P800 칩의 저지연 생성 속도를 기준 대비 623.6%로 높였다.

공개 시험 3종 중 2종에서 최고 기록

어니 이볼브는 공개 AI 연구개발 과제 3종 모두에서 기준값을 개선했다. 과제는 학습 알고리즘(나노챗 오토리서치), 학습 속도(나노GPT 스피드런), GPU 커널 최적화(SOL-엑섹벤치)다. 바이두는 이 가운데 나노챗 오토리서치와 나노GPT 스피드런에서 비교 대상 공개 기록을 넘었다고 밝혔다.

나노챗 오토리서치는 GPU 1개로 5분 동안 학습한 모델의 성능을 겨룬다. 어니 이볼브는 검증 손실 지표(BPB, 낮을수록 좋음)에서 0.8763을 기록해 기존 최고 공개 기록 0.8878보다 낮췄다. 나노GPT 스피드런은 2년 넘게 커뮤니티가 90건 이상의 개선을 쌓아 온 과제다. 어니 이볼브는 목표 손실 도달 시간을 39.9초에서 38.9초로, 목표 도달 단계 수를 2,690단계에서 2,590단계로 줄였다.

SOL-엑섹벤치는 실제 모델에서 가져온 커널 최적화 문제 235개로 구성되고, 7개월 넘게 개발자 700명 이상이 약 5만 건을 제출한 평가다. 어니 이볼브의 평균 점수는 0.819로 최고 기록 0.827에는 못 미쳤지만, 다른 자동 연구 시스템인 리커시브(0.676)와 하이라-1.0(0.736)보다 높았다. 바이두는 세 과제의 최적화 결과를 깃허브에 공개했다.

주제 선정, 실험, 채점을 나눠 맡는 구조

어니 이볼브는 무엇을 연구할지 정하는 바깥 반복과, 정해진 주제 안에서 개선을 시험하는 안쪽 반복으로 움직인다. 바깥 반복의 ‘디렉터(Director)’는 과거 실험 기록을 모은 ‘경험 저장소(Experience Bank)’와 논문, 오픈소스 코드를 담은 지식 기반을 참고해 연구 주제와 출발 코드 버전을 고른다. 여러 연구 주제가 동시에 진행되고, 주제마다 후보 코드 버전이 나무 모양으로 쌓인다.

안쪽 반복에서는 ‘셀렉터(Selector)’가 다음에 개선할 후보와 시험할 가설을 정하고, ‘익스큐터(Executor)’가 격리 환경 안에서 코드를 고친다. 셀렉터는 점수뿐 아니라 코드 변경 내용, 실패 이유, 이전 결정의 결과도 함께 본다.

후보를 받아들일지는 평가기와 검토기가 정한다. 평가기는 최적화 대상 저장소 밖에 두고 어떤 에이전트도 볼 수 없게 한 고정 평가 프로그램이다. 성능 향상은 측정 잡음 기준을 넘을 때만 인정된다. 검토기는 개선이 평가 방식의 허점을 이용한 결과인지 확인하고, 허점을 이용한 후보는 버린다. 회사 개발팀으로 치면, 채점 기준을 개발자가 볼 수 없는 곳에 두고 별도 검수자가 편법 여부를 따로 확인하는 방식이다.

자사 모델 생성 속도 6배 넘게 향상

바이두는 어니 이볼브를 어니 팀이 진행 중인 어니-5.5-플래시 추론 최적화 과제 3개에 적용했다. 어니 이볼브가 만든 변경은 엔지니어가 제출한 변경과 같은 부하 시험과 정확도 검사를 통과해야 했다.

쿤룬신 P800 칩의 저지연 추론 과제에서는 4차례 연구를 거쳐 생성 속도를 기준 대비 623.6%로 높였다. 1차에서는 이미 있던 최적화 경로를 켜 282.9%, 2차에서는 호스트 쪽 일정 관리와 동기화를 줄여 588.8%가 됐다. 이 과정에서 전용 통신을 범용 통신으로 바꾸자 속도가 14.0% 떨어져 이 변경은 버렸다. 3차 개선이 약 1.4%에 그치자 단계별 소요 시간을 다시 측정했고, 4차에서 통신 경로 선택 문제를 고쳐 최종 수치에 도달했다.

강화학습용 결정적 추론 과제는 같은 요청에 항상 똑같은 결과를 내야 하는 조건이다. 개별 개선 폭이 1~2%로 측정 잡음과 비슷했지만, 어니 이볼브는 약 3일 연구로 처리량을 33.7% 높이고, 출력 토큰당 평균 시간을 26%, 첫 토큰까지 시간을 12% 줄였다. 이미 빠르게 조정된 단일 요청 디코딩 과제에서는 7개 연구 주제 가운데 3개에서 개선을 찾아 속도를 14.9% 더 높였다.

작은 개선과 실패한 실험까지 기록

바이두에 따르면, 어니-5.5-플래시 개발 과제는 공개 과제보다 조건이 까다로웠다. 기준 코드가 이미 엔지니어 손을 거쳤고, 변경은 지정된 모듈 안에서만 허용됐으며, 개선 효과가 측정 잡음과 비슷한 경우가 많았다. 디코딩 속도 과제에서는 유용한 변경 일부가 개별로 0.3~0.5% 개선에 그쳤다.

실패한 실험도 기록으로 남는다. 결정적 추론 과제에서 어니 이볼브는 고정된 분할 수 때문에 연산 장치가 놀고 있다는 가설을 세웠지만, 대부분의 커널에서 시험 결과가 가설과 맞지 않아 일부 변경만 남겼다. 바이두는 이런 실패 기록이 다음 연구 주제를 정하는 데 활용된다고 밝혔다.

바이두는 어니 이볼브를 AI가 자신을 개선하는 재귀적 자기 개선(RSI)을 향한 첫걸음으로 소개했다. 다만 바이두가 밝힌 적용 범위는 목표가 분명하고 결과를 검증할 수 있는 연구개발 과제다. 바이두는 RSI를 더 안정적으로 돌리려면 AI가 연구에 온전히 참여할 수 있는 기반 시설을 계속 개발할 필요가 있다고 적었다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 어니 이볼브는 어떤 일을 할 수 있나요?
코드 저장소, 최적화 목표, 평가 기준을 주면 연구 주제를 고르고, 코드를 고치고, 실험을 실행해 결과를 평가하는 과정을 반복합니다. 바이두는 학습 알고리즘, 학습 속도, GPU 커널, 모델 추론 최적화 과제에 적용한 결과를 공개했습니다.

Q2. 623.6%는 속도가 6배 이상 빨라졌다는 뜻인가요?
쿤룬신 P800 칩의 저지연 추론 과제에서 생성 속도가 기준의 623.6% 수준이 됐다는 뜻으로, 약 6.2배입니다. 모델과 배포 구성은 그대로 두고 쿤룬신 플러그인 코드만 바꾼 결과이며, 다른 칩이나 과제에 같은 수치가 적용되지는 않습니다.

Q3. AI가 평가를 속여 점수만 올릴 가능성은 없나요?
바이두는 평가 프로그램을 최적화 대상 저장소 밖에 두고 에이전트가 볼 수 없게 했습니다. 허용 범위 밖을 고친 후보는 평가에서 빼고, 검토기가 평가 허점을 이용한 후보를 버리도록 설계했다고 설명했습니다.

기사에 인용된 리포트 원문은 바이두 어니에서 확인할 수 있다.
리포트명: ERNIE Evolve: Toward Automated Research for Real-World AI R&D (바이두, 2026년 11월)
이미지 출처: 바이두
해당 기사는 클로드를 활용해 작성되었습니다.