153 / 2026-02-14 12:22:25

AtmoNAT: Improving Neighborhood Attention with Gated Position Bias for Efficient Weather Forecasting

neighborhood attention,position bias,weather forecast

主题1 天气、气候、全球变化、行星大气 > 专题1.4 高影响天气气候事件可预报性及AI算法的应用

近期人工智能方法在天气预报领域取得了很多显著成果。然而，这些方法倾向于使用通用的视觉神经网络结构，它们不是为学习大气数据设计的，其中一些基本的先验，例如平移等变性等，不适用于大气数据。为此，本文提出AtmoNAT，一种融合大气科学归纳偏置的视觉Transformer模型，通过修改Transformer块中几个关键设计，使其能够显式捕获大气系统中的变量间交互和多尺度动力特征。此外，本文提出了门控相对位置偏差GRPB（Gated Relative Position Bias），其中像素间的重要性不仅取决于它们的距离，还取决于其地理位置和当前的大气状态。在ERA5上的实验表明，我们的预报精度优于HRES，并且取得了与最先进的AI天气预报模型有竞争力的结果，同时使用更少的计算量。可视化分析验证了模型对关键天气现象（如锋面活动，盛行风等）的建模能力，为可解释的深度学习的气象预测提供了潜在价值。