A foundation model for the Earth system

10만 배 더 빠르고 더 정확한 AI 날씨 예측 기술의 탄생

지구 시스템에 대한 정확한 예측은 자연재해 대응과 인류 발전에 필수적인 요소다. 특히 최근 스페인 발렌시아의 홍수, 뉴델리의 대기 오염 위기, 그리고 미국 동부를 강타한 허리케인 헬렌과 밀턴 같은 자연재해는 이러한 예측 시스템의 중요성을 다시 한번 상기시켰다. 그러나 지금까지의 전통적인 수치 모델은 강력한 예측 능력에도 불구하고 엄청난 계산 비용이 필요하다는 치명적인 단점이 있었다. 이러한 상황에서 최근 인공지능(AI)의 발전은 예측 성능과 효율성을 모두 향상시키는 새로운 가능성을 제시했지만, 지구 시스템의 다양한 영역에서 그 잠재력은 아직 충분히 탐색되지 않았다.

마이크로소프트와 연구 파트너들이 네이처(Nature)에 발표한 논문에서는 100만 시간 이상의 다양한 지구물리 데이터로 훈련된 대규모 기초 모델인 '오로라(Aurora)'를 소개했다. 오로라는 대기질, 해양파, 열대성 사이클론 경로, 고해상도 날씨 예측 등의 분야에서 기존 운영 예측 시스템보다 뛰어난 성능을 보이면서도 계산 비용은 수만 배 낮추는 놀라운 결과를 달성했다. 특히 적은 비용으로 다양한 응용 분야에 맞게 미세 조정이 가능한 오로라는 정확하고 효율적인 지구 시스템 예측을 민주화하는 중요한 진전을 이룬 것으로 평가받고 있다.

오로라의 비밀: 인공지능으로 방대한 지구 데이터를 이해하는 방법

오로라는 이질적인 입력을 표준화된 3차원 표현으로 변환하는 인코더, 이 표현을 시간에 따라 발전시키는 프로세서, 그리고 표준 3차원 표현을 물리적 예측으로 다시 변환하는 디코더, 이렇게 세 부분으로 구성된다. 프로세서는 3D 스윈 트랜스포머(Swin Transformer)로 구현되었으며, 인코더와 디코더 모두 퍼시버(Perceiver) 기반 모듈을 사용한다.

연구팀은 오로라를 대규모 지구 시스템 데이터로 사전 훈련시켜 대기 및 해양 흐름과 관련된 역학을 지배하는 범용 표현을 학습하게 했다. 이러한 사전 훈련 과정에는 예측 데이터, 분석 데이터, 재분석 데이터, 기후 시뮬레이션 등 다양한 데이터가 포함되었다. 사전 훈련 후에는 두 번째 훈련 단계인 미세 조정을 통해 학습된 범용 표현을 활용하여 새로운 작업, 새로운 데이터셋, 새로운 변수에 효율적으로 적응할 수 있게 했다.

이러한 접근 방식의 효과는 놀라웠다. 연구팀은 사전 훈련 중에 더 다양한 데이터를 사용할수록 검증 성능이 체계적으로 향상된다는 것을 입증했으며, 특히 극단적인 값에 대한 예측에서 큰 개선을 보였다. 또한 모델 크기가 10배 증가할 때마다 검증 성능이 약 6% 향상된다는 것을 확인했다.

미세먼지와 대기 오염: 오로라가 기존 예측보다 74% 더 정확하게 예측

대기질은 인간 건강에 중요한 요소로, 특정 가스와 에어로졸의 대기 농도에 의해 결정된다. 오로라는 고도로 복잡하고 계산 비용이 많이 드는 이 영역에서도 탁월한 성능을 보여주었다. 코페르니쿠스 대기 모니터링 서비스(CAMS)의 접근 방식은 통합 예보 시스템(IFS)을 에어로졸, 반응성 가스, 온실가스를 위한 모듈로 확장하는데, 이는 계산 비용을 약 10배 증가시킨다.

오로라는 미세 조정을 통해 CAMS 분석 데이터에서 학습하였고, 모든 목표의 95%에서 CAMS와 경쟁력이 있으며(RMSE 20% 이내), 74%의 목표에서 CAMS와 동등하거나 능가하는 성능을 보였다. 3일 시점에서는 모든 변수에서 CAMS와 경쟁력이 있고, 89%의 변수에서 CAMS와 동등하거나 능가했다. 특히 오로라는 이러한 예측을 단일 A100 GPU에서 시간당 리드 타임당 약 0.6초만에 생성하여, CAMS보다 약 10만 배 빠른 속도를 달성했다.

바다 위 파도 예측: 태풍이 만드는 거대 파도도 정확히 예측

정확한 해양파 예측은 해운, 해안 방어, 양식업, 해상 에너지 생산 및 재난 대비에 중요하다. 오로라는 이 분야에서도 놀라운 성능을 보여주었다. 통합 예보 시스템(IFS)의 고해상도 파도 모델(HRES-WAM) 시스템은 최대 10일 리드 타임까지 최첨단 파도 예측을 제공하는데, 오로라는 이 시스템과 비교하여 모든 목표의 96%에서 경쟁력이 있으며(RMSE 20% 이내), 86%의 파도 변수에서 HRES-WAM과 동등하거나 능가했다.

3일 시점에서는 PP1D 변수를 제외한 모든 변수에서 HRES-WAM과 경쟁력이 있고, 91%의 모든 표면 수준 변수에서 HRES-WAM과 동등하거나 능가했다. 특히 오로라는 대기 및 파도 모델의 결합에 중요한 중립 풍속을 정확하게 예측했다.

태풍 경로 예측: 7개 전문 기관보다 더 정확한 오로라의 놀라운 성능

1950년 이후 1.4조 달러 이상의 피해를 입힌 열대성 사이클론은 생명과 재산에 상당한 위협을 가한다. 오로라는 고해상도 날씨 예측용으로 미세 조정된 단일 모델로, 2022-2023년 전 세계 모든 열대성 사이클론에 대한 데이터셋에서 여러 복잡한 시스템의 경로 예측을 능가했다.

모든 기관과 리드 타임에서 오로라는 공식 경로 예측보다 더 나은 성능을 보였다. 북대서양과 동태평양에서는 1일 리드 타임에서 6%, 2-5일 리드 타임에서 20-25%의 개선을 보였다. 이는 머신러닝 모델이 5일까지의 완전한 운영 열대성 사이클론 예측을 능가한 최초의 사례다.

초고해상도 날씨 예측: 92%의 경우에서 기존 최고 시스템보다 더 정확해

심각한 폭풍과 같은 고영향 기상 현상을 정확하게 해결하기 위해서는 날씨 예측 시스템이 작은 규모에서 발생하는 과정을 해결할 수 있도록 높은 공간 해상도로 운영되어야 한다. 오로라는 0.1° 해상도에서도 통합 예보 시스템의 고해상도 구성(HRES)보다 우수한 예측 성능을 달성했다.

오로라는 목표 변수, 압력 수준 및 리드 타임의 92%에서 IFS HRES보다 낮은 RMSE를 달성했다. 성능 향상은 미래 12시간 이상의 리드 타임에서 가장 두드러졌으며, RMSE가 최대 24% 감소했다. 또한 전 세계적으로 13,000개 이상의 기상 관측소에서 10m 풍속과 2m 온도의 현장 측정에 대한 오로라의 예측을 평가한 결과, 오로라가 10일까지의 모든 리드 타임에서 IFS HRES보다 우수한 성능을 보였다.

하나의 AI로 모든 지구 환경 예측: 기후부터 산불까지 미래를 내다보다

오로라는 지구 시스템 예측 분야에 깊은 영향을 미칠 잠재력을 가지고 있다. 이 논문에서 소개된 네 가지 도메인 외에도, 오로라는 원하는 모든 지구 시스템 예측 작업에 미세 조정될 수 있어 현재 운영 시스템보다 뛰어난 예측을 저렴한 비용으로 제공할 가능성이 크다.

연구팀은 오로라가 해양 순환, 지역 날씨, 계절 날씨, 식생 성장 및 생물계절학, 홍수와 산불과 같은 극한 기상 양식, 수분 패턴, 농업 생산성, 재생 에너지 생산, 해빙 범위 등을 예측하는 데 활용될 수 있다고 전망한다. 적은 계산 비용으로 다양한 응용 분야에 맞게 오로라를 미세 조정할 수 있는 능력은 실행 가능한 예측을 모두에게 접근 가능하게 만드는 데 중요한 진전을 이룬 것으로 평가된다.

FAQ

Q. 오로라는 어떻게 기존의 기상 예측 모델과 다른가요?

A: 오로라는 인공지능 기반 모델로, 100만 시간 이상의 지구물리 데이터로 사전 훈련된 후 특정 작업에 맞게 미세 조정됩니다. 기존 수치 모델이 복잡한 방정식을 계산하는 데 비해, 오로라는 데이터에서 패턴을 학습하여 예측합니다. 이 방식은 계산 속도가 기존 모델보다 약 10만 배 빠르면서도 더 정확한 예측을 가능하게 합니다.

Q. 오로라가 예측할 수 있는 기상 현상은 무엇인가요?

A: 오로라는 현재 대기질, 해양파, 열대성 사이클론 경로, 고해상도 날씨 등을 예측할 수 있습니다. 또한 해양 순환, 지역 날씨, 계절 날씨, 식생 성장, 홍수, 산불, 수분 패턴, 농업 생산성, 재생 에너지 생산, 해빙 범위 등 다양한 지구 시스템 현상으로 확장 가능합니다.

Q. 일반 사용자들도 오로라 모델을 사용할 수 있나요?

A: 오로라는 적은 계산 비용으로 다양한 응용 분야에 맞게 미세 조정이 가능하므로, 향후 더 많은 사람들이 고품질의 기후 및 날씨 정보에 접근할 수 있게 될 것으로 예상됩니다. 이는 실행 가능한 예측을 모두에게 접근 가능하게 만드는 민주화 과정의 중요한 진전입니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.