오픈AI가 14일(현지 시간) 코딩 성능과 지시 수행 능력이 크게 향상된 새로운 AI 모델 시리즈인 GPT-4.1을 API를 통해 출시했다. 이번에 선보인 모델은 GPT-4.1, GPT-4.1 미니, GPT-4.1 나노로 구성되어 있으며, 이전 모델인 GPT-4o 대비 전반적인 성능 향상과 함께 100만 토큰까지 처리 가능한 대규모 컨텍스트 창을, 그리고 2024년 6월까지의 지식을 보유하고 있다.

GPT-4.1은 코딩 분야에서 특히 두드러진 성능 개선을 보였다. 실제 소프트웨어 엔지니어링 능력을 측정하는 SWE-bench Verified에서 54.6%의 점수를 기록했는데, 이는 GPT-4o의 33.2%보다 21.4%p 높은 수치다. 로이터에 따르면, 오픈AI는 새 모델이 웹앱 제작, 코드 수정, 정확한 diff 형식 생성 등에서 이전보다 훨씬 뛰어난 성능을 보인다고 발표했다. 윈드서프(Windsurf)는 자체 코딩 벤치마크에서 GPT-4.1이 GPT-4o보다 60% 높은 점수를 기록했다고 밝혔다. 사용자들은 도구 호출에서 30% 더 효율적이며, 불필요한 편집을 반복할 가능성이 약 50% 낮아졌다고 평가했다.

GPT-4.1은 지시 수행 능력에서도 큰 향상을 보였다. 다양한 지시 사항을 따르는 능력을 측정하는 Scale의 MultiChallenge 벤치마크에서 GPT-4.1은 38.3%를 기록했는데, 이는 GPT-4o보다 10.5%p 높은 수치다. 법률 AI 보조 도구인 CoCounsel을 개발한 톰슨 로이터(Thomson Reuters)는 GPT-4.1을 통해 다중 문서 검토 정확도가 17% 향상되었다고 밝혔다. 특히 여러 출처 간 맥락을 유지하고 문서 간 미묘한 관계를 정확하게 식별하는 능력이 뛰어나다고 평가했다.

GPT-4.1 시리즈는 모두 최대 100만 토큰의 컨텍스트를 처리할 수 있다. 이는 이전 GPT-4o 모델의 12만 8,000 토큰에서 크게 증가한 수치로, 8개의 React 코드베이스 전체를 처리할 수 있는 용량이다. 오픈AI에 따르면, GPT-4.1은 긴 컨텍스트에서도 관련 정보를 발견하고 사소한 내용은 무시하는 능력이 이전 모델보다 훨씬 뛰어나다. 특히 비디오 이해 벤치마크인 Video-MME에서 72.0%의 점수를 기록해 GPT-4o의 65.3%보다 6.7%p 높은 결과를 보였다.

GPT-4.1 시리즈는 이미지 이해 능력에서도 강점을 보였다. 특히 GPT-4.1 미니는 이미지 벤치마크에서 종종 GPT-4o를 능가하는 성능을 보였다. 가격 측면에서는 효율성 개선을 통해 이전보다 낮은 가격에 제공된다. GPT-4.1은 GPT-4o보다 평균 26% 저렴하며, GPT-4.1 나노는 오픈AI의 가장 저렴하고 빠른 모델로 출시됐다. 현재 모든 개발자가 이용할 수 있다.

오픈AI의 알파 테스터들은 실제 환경에서 GPT-4.1의 성능을 검증했다. 법률 전문 AI 도구를 개발하는 블루 제이(Blue J)는 GPT-4.1이 자사의 가장 까다로운 실제 세금 시나리오에 대한 내부 벤치마크에서 GPT-4o보다 53% 더 정확했다고 보고했다. 데이터 분석 플랫폼 헥스(Hex)는 GPT-4.1이 자사의 가장 어려운 SQL 평가 세트에서 거의 2배 향상된 성능을 보였다고 발표했다. 모델이 대규모 모호한 스키마에서 올바른 테이블을 선택하는 데 더 신뢰할 수 있었다는 점이 특히 주목할 만하다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 오픈AI

기사는 클로드와 챗gpt를 활용해 작성되었습니다.