End-to-end data-driven weather prediction

관측 데이터의 8%만으로도 더 정확한 예측하는 ‘아드바크 웨더’

생성형 AI 기술이 교통, 농업, 산업 등 다양한 분야에 혁신을 가져오고 있는 가운데, 날씨 예보 영역에서도 획기적인 발전이 이루어졌다. 영국 케임브리지 대학교(University of Cambridge)와 마이크로소프트 리서치(Microsoft Research) 등의 공동 연구팀이 개발한 '아드바크 웨더(Aardvark Weather)'는 기존 수치예보모델(NWP)을 완전히 대체할 수 있는 세계 최초의 종단간(end-to-end) 데이터 기반 날씨 예측 시스템이다.

연구팀은 발표한 논문에서 "머신러닝 모델이 기존 수치예보모델 시스템의 복잡한 파이프라인을 대체할 수 있다"고 밝혔다. 이전까지 AI 날씨 예측 연구는 주로 전체 예보 시스템 중 쉬운 부분만 개선하는 데 집중했다면, 아드바크 웨더는 원시 관측 데이터에서 직접 예보를 생성하는 최초의 시스템이다. 특히 주목할 점은 이 시스템이 기존 수치예보모델의 8%에 불과한 입력 데이터만으로도 기존 시스템보다 정확한 예측을 제공하며, 계산 비용을 1000분의 1 수준으로 줄였다는 것이다. 이는 날씨 예측 분야에서 패러다임 전환을 의미한다.

3단계 모듈로 구현한 지능형 날씨 예측: 인코더→프로세서→디코더의 효율적 파이프라인

아드바크 웨더는 세 개의 핵심 모듈로 구성되어 있다. 인코더(encoder), 프로세서(processor), 디코더(decoder) 모듈이 각각 다른 역할을 담당하며 유연하고 효율적인 예측 시스템을 구현한다.

첫째, 인코더 모듈은 위성, 기상 관측소, 해양 플랫폼, 라디오존데 등 다양한 소스에서 얻은 원시 관측 데이터를 입력받아 격자화된 초기 상태를 생성한다. 여기서 주목할 점은 기존 수치예보모델의 데이터 동화 시스템과 달리, 아드바크는 이전 예측을 초기 추정값으로 사용하지 않고 관측 데이터에서 직접 매핑하는 방식을 취한다는 것이다.

둘째, 프로세서 모듈은 인코더가 생성한 초기 상태를 입력받아 24시간 후의 그리드 예측을 생성한다. 후속 예측은 자기회귀(autoregressive) 방식으로 이전 예측을 다시 입력하여 생성된다.

마지막으로, 디코더 모듈은 이러한 그리드 예측을 특정 지역의 구체적인 예보로 변환한다. 특히 특정 지역과 변수에 최적화된 예측을 위해 전체 파이프라인을 종단간으로 미세 조정할 수 있는 능력을 갖추고 있다.

9일 후 온도 예측까지 신뢰도 확보

연구팀이 진행한 성능 테스트 결과는 놀라웠다. 아드바크 웨더는 전 세계 격자 예측에서 미국 국립환경예측센터(NCEP)의 GFS 모델보다 여러 변수와 예측 시간에서 더 낮은 오차율을 보였으며, 일부 변수에서는 유럽중기예보센터(ECMWF)의 HRES 모델보다 더 정확했다. 특히 지표면 온도와 해면 기압에서는 최대 9일까지 신뢰할 수 있는 예측을 제공했으며, 10미터 고도의 동서 및 남북 바람 예측에서는 8일까지 정확한 예측을 보여줬다. 또한 700hPa 고도의 비습(specific humidity) 예측에서는 GFS를 2일째부터, HRES를 5일째부터 능가했다.

지역 기상 관측소 예측에서도 아드바크 웨더는 뛰어난 성능을 보였다. 미국 대륙(CONUS)과 유럽에서 기온 예측은 기존 시스템과 대등했으며, 미국 국립 기상 서비스의 종합 예보 시스템인 NDFD와 비교해도 대등한 성능을 보였다. 서아프리카와 태평양 지역에서는 모든 예측 시간에서 기존 시스템보다 더 정확했다.

맞춤형 지역 기상 예측으로 오차 6% 감소… 농업부터 재생에너지까지 산업별 최적화

아드바크 웨더가 가진 가장 큰 장점 중 하나는 사용자의 필요에 따라 특정 지역과 변수에 최적화할 수 있는 능력이다. 연구팀이 진행한 "종단간 미세 조정" 실험에서는 전 세계적으로 2미터 기온 예측의 평균 절대 오차(MAE)를 6% 감소시켰으며, 특히 유럽, 서아프리카, 태평양 지역에서 큰 개선을 보였다.

이는 같은 모델을 다양한 최종 사용자의 요구에 맞게 조정할 수 있음을 의미한다. 농업, 재생에너지, 보험, 금융 등 다양한 분야에서 특정 지역과 변수에 최적화된 예측을 제공할 수 있게 된 것이다. 또한, 아드바크 웨더의 간단한 모델 구조와 낮은 계산 비용은 기존 수치예보모델을 운영하기 어려웠던 개발도상국에서도 고품질의 맞춤형 날씨 예측 시스템을 구축할 수 있는 가능성을 열었다. 이는 전 세계적으로 날씨 예보의 접근성과 질을 크게 향상시킬 것으로 기대된다.

극한 기상 경고부터 계절 예보까지… AI 기반 기상 예측의 새 시대가 열린다

연구진은 "아드바크 웨더가 새로운 세대의 종단간 기상 예측 시스템의 시작점이 될 것"이라고 전망했다. 향후 이 시스템은 더 많은 입력 데이터 모달리티 추가, 인코더 모듈의 관측 윈도우 확대, 고해상도 및 더 정교한 아키텍처 활용 등을 통해 더욱 개선될 수 있다.

또한 이 패러다임은 허리케인, 홍수, 심각한 대류, 화재 기상 및 기타 극한 기상 경고와 같은 다양한 예보 모달리티를 제공하도록 쉽게 확장될 수 있으며, 장기 예측을 통한 계절 예보 제품 생성에도 적용 가능하다. 연구팀은 "아드바크 웨더가 이러한 다양한 작업을 해결하는 새로운 세대의 종단간 기상 예측 시스템의 첫 번째가 될 것"이라고 전망했다.

FAQ

Q: 아드바크 웨더는 기존 수치예보모델과 어떻게 다른가요?

A: 기존 수치예보모델은 데이터 수집, 데이터 동화, 예측, 후처리라는 복잡한 단계를 거치며 슈퍼컴퓨터가 필요합니다. 반면 아드바크 웨더는 인공지능을 활용해 원시 관측 데이터에서 직접 예보를 생성하는 단일 시스템으로, 계산 비용이 1000분의 1 수준으로 감소하면서도 더 정확한 예측을 제공합니다.

Q: 아드바크 웨더가 실제 기상 예보에 어떤 영향을 미칠까요?

A: 아드바크 웨더는 특정 지역이나 변수에 최적화된 맞춤형 예보를 쉽고 저렴하게 생성할 수 있어, 농업, 재생에너지, 물류 등 날씨에 민감한 산업에서 큰 혜택을 볼 수 있습니다. 또한 기존 수치예보모델을 운영하기 힘든 개발도상국에서도 고품질 예보 시스템을 구축할 수 있어 전 세계적으로 기상 예보의 접근성이 크게 향상될 것입니다.

Q: 아드바크 웨더는 어떤 데이터를 사용하나요?

A: 아드바크 웨더는 위성 관측, 기상 관측소, 해양 플랫폼, 라디오존데 등에서 얻은 원시 관측 데이터를 사용합니다. 특히 주목할 점은 기존 수치예보모델이 사용하는 데이터의 약 8%만으로도 뛰어난 성능을 달성한다는 것입니다. 이는 시스템의 효율성과 확장성을 크게 향상시킵니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: End-to-end data-driven weather prediction

기사는 클로드와 챗GPT를 활용해 작성되었습니다.