地球科学进展, 2020, 35(6): 551-560 DOI: 10.11867/j.issn.1001-8166.2020.053

综述与评述

天气预报中的人工智能技术进展

马雷鸣,

上海中心气象台,上海 200030

Development of Artificial Intelligence Technology in Weather Forecast

Ma Leiming,

Shanghai Central Meteorological Observatory, Shanghai 200030, China

收稿日期: 2020-04-12   修回日期: 2020-05-19   网络出版日期: 2020-07-03

基金资助: 国家自然科学基金项目“边界层顶大气过程影响深对流强度变化机制及参数化闭合研究”.  41975069
上海市科委重点项目“灾害天气(强对流)数字模拟器关键技术研究及应用”.  18DZ1200400

Received: 2020-04-12   Revised: 2020-05-19   Online: 2020-07-03

作者简介 About authors

马雷鸣(1975-),男,新疆石河子人,研究员,主要从事台风、数值预报、人工智能技术研究.E-mail:malm@typhoon.org.cn

MaLeiming(1975-),male,ShiheziCity,XinjiangUygurAutonomousRegion,Professor.Researchareasincludetyphoon,numericalprediction,artificialintelligencetechnology.E-mail:malm@typhoon.org.cn

摘要

以数值预报技术为主的天气预报由于存在大气运动规律认识和表达、观测资料同化应用、模式物理参数化等方面的不足,导致误差。人工智能技术基于大数据学习的优势为天气预报的改进和技术革命提供了新的可能。从人工智能的发展背景、人工智能技术在天气预报中的应用现状以及未来的发展趋势等方面进行了重点阐述,提出了人工智能技术与数值预报相融合的天气预报技术发展思路。特别指出,未来的天气预报人工智能算法需要着眼于导致预报不确定性的非线性、混沌性的大气运动特点,不仅要完善基于数据驱动的输入—输出映射的框架,更要从数学与物理学的本质出发,实现数学、物理的混合建模,在实现人工智能理论突破的同时,推动天气预报瓶颈问题的解决。

关键词: 人工智能 ; 天气预报 ; 数值预报

Abstract

Numerical weather prediction, which is the major basis of current weather forecast, has some shortcomings, such as the understanding of the law of atmospheric motion, the assimilation and application of observation data, the expression of model physics, etc., leading to the forecast error of weather. The rapid development of artificial intelligence technology in recent years provides a new possibility for the advancement and innovation of weather forecast. In this paper, the background of the development of artificial intelligence, the current situation of the application of artificial intelligence technology to weather forecast and the future development trend are mainly described to account for this possibility. After that, the idea for development of weather forecast technology based on the integration of artificial intelligence and numerical forecast is put forward. Particularly, this study stresses that, in order to advance the AI algorithm of weather forecast in the future, it is requested to focus on the nonlinear and chaotic characteristics of atmospheric motion leading to the uncertainty of forecast. Starting from the essence of mathematics and physics, we need to realize the hybrid modeling of mathematics and physics, not only to establish the framework of input-output mapping, but also to provide solutions to the bottleneck problems of weather forecast.

Keywords: Artificial intelligence ; Weather forecast ; Numerical weather prediction

PDF (4117KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

马雷鸣. 天气预报中的人工智能技术进展. 地球科学进展[J], 2020, 35(6): 551-560 DOI:10.11867/j.issn.1001-8166.2020.053

Ma Leiming. Development of Artificial Intelligence Technology in Weather Forecast. Advances in Earth Science[J], 2020, 35(6): 551-560 DOI:10.11867/j.issn.1001-8166.2020.053

1 引 言

由于大气运动的高度复杂性,天气预报、尤其是强对流、台风等灾害天气预报一直是国际难题,被称为气象学的终极问题[1]。从古希腊哲学推理到中世纪占卜,再到现代科学推理、计算机建模和数值预报,天气预报已从一种主观化、经验性的体力劳动,慢慢演化为客观化、定量化的高科技活动。这一转变的形成,长期以来主要得益于数值预报,即通过计算机做数值计算求解描写天气演变过程的流体力学和热力学的方程组,预测未来一定时段的大气运动状态和天气现象。尽管已取得了长足的进步,但是由于对大气运动规律科学认识及数值模式表达仍有不足,全球主流的数值预报模式还普遍存在误差,这种误差在极端天气预报中表现尤为明显。例如美国国家天气局(National Weather Service,NWS)于2019年更新的全球数值天气预报模式GDAS/GFS V15.0.0(简称GFS-FV3模式)尚存在美国中西部2 m极端温度偏高、虚报的(非热带)低压、飓风降水预报误差等问题。

近年来,人工智能(Artificial Intelligence,AI)技术在天气预报领域的广泛应用,使人们看到了解决气象学终极问题的曙光。根据国家《人工智能标准化白皮书(2018版)》定义,AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。自1956年达特茅斯会议AI诞生以来,其发展已涉及到计算机科学、心理学、哲学和语言学等几乎自然科学和社会科学的所有学科,并为天气预报应用发展奠定了基础。1959年第一台工业机器人诞生,1980年第一套专家系统XCON设计成功。1984年,美国国家天气局(National Weather Service,NWS)研发出可预测美国中部灾害性雷暴的WILLARD系统;同期加拿大环境局开发了强天气智能预报终端系统SWIFT。到了20世纪90年代,美国、加拿大、英国、法国等发达国家先后将预报员的经验以预报专家系统的形式应用于强降水、龙卷风、闪电等预报。几乎同期,我国也基于神经网络等方法开展了台风路径预报等的研究和业务应用。21世纪初,随着高性能计算、互联网等技术的发展,AI迎来快速增长期。2016年,阿尔法狗以绝对优势战胜围棋世界冠军韩国九段棋手李世石等标志性事件,使AI受到全球的广泛关注。美国国家科学基金会(National Science Foundation,NSF)2021财年预算超过8.5亿美元的AI基金,比2020财年预算增加了70%以上。而在天气预报领域,国内外领先的气象业务科研机构,如欧洲中期天气数值预报中心(European Center for Medium-range Weather Forecasts,ECMWF)、美国大气科学研究中心(National Center for Atmospheric Research,NCAR)、Google和IBM等已大幅增加投入于AI天气预报应用,包括观测数据质量控制、灾害性天气监测和识别、短时临近预报、资料同化、物理过程参数化、模式解释应用等,AI大有与数值预报技术并驾齐驱之势。2017年11月,国务院印发《新一代人工智能发展规划》,该规划明确指出,到2030年我国AI理论、技术与应用总体达到世界领先水平,成为世界主要AI创新中心。这一规划也为我国气象领域AI发展指明了方向。

2 AI技术在天气预报中的应用现状分析

2.1 主流AI技术

AI技术的发展经历了从手工规则和启发法到线性模型和决策树、再到集成和深度模型、元学习模型的过程,日趋复杂、成熟的AI模型也为天气预报技术的不断提升创造了条件。目前在天气预报中应用的主流AI技术主要包括神经网络、支持向量机、决策树和随机森林模型等。人工神经网络,是由加权非线性函数组成的网络模型,在多层连接和训练的情况下,可以表示任意非线性函数。当通过多层网络联接和训练后,理想情况下它可以表达任何非线性过程。人工神经网络自20世纪80年代起被广泛应用于气象领域[2],主要包括云[3]、龙卷[4,5]、大风[6]、冰雹[7,8]、降水[9,10]、风暴[11]等的识别、分类和观测质量控制等[12,13]。近年来,神经网络方法已发展出了一系列各具优势的延伸模型,包括深度信念网络(Deep Belief Network,DBN)、卷积神经网络(Convolution Neural Network,CNN)、递归神经网络(Recurrent Neural Network,RNN)、长短时记忆模型(Long Short-Term Memory,LSTM)和生成对抗网络(Generative Adversarial Nets,GAN)等。支持向量机(Support Vector Machine, SVM),是一种按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),它可以通过核方法(kernel method)进行非线性分类。SVM使用铰链损失函数(hinge loss)并加入正则化项以优化结构风险(structural risk),已被用于识别和预报龙卷[14,15]。同类的还有相关向量机(Relevance Vector Machine,RVM)模型,由于在解决小样本和非线性问题中表现出特有的优势,已被用于台风定强等研究[16]决策树模型,是一种简单易用的非参数分类器,它由决策点、策略点(事件点)及结果构成树形图,通常以最大收益期望值或最低期望成本作为决策准则。决策树模型不需要对数据有任何的先验假设,计算速度较快,而且稳健性强,已被广泛应用于气象领域[17,18,19,20,21,22,23]随机森林法(Random Forests,RFs)[24],是一种包含多个决策树的分类器,即由决策树构成的集合。由于基于不同的数据和预测因子进行训练,决策树“森林”中的每棵树都是不同的,形成类似“专家库”的作用。以渐进梯度回归树方法(Gradient Boosted Regression Trees, GBRT)[25]为例,它通过boosting算法训练一组决策树的集合[26],且基于不同权重进行训练,权重基于前次训练的残差来确定。此外,聚类法等方法也被广泛应用,Baldwin等[27]使用异构聚类法(Hierarchical Clustering)来划分强降水区域。Gagne等[20]和Lakshmanan等[10,28]使用k-means聚类法来分析灾害天气雷达回波图像。Miller等[29]将聚类法用于风暴路径的识别。尽管有不同的复杂定义和应用,这些方法都可以归为“机器学习”(Machine Learning)的范畴,其共同特征是:针对特定的任务(如“分类”)使用数据进行训练;一般都基于“输入—输出”方程,通过最小化“实际输出”(actual outputs)与“期望输出”(desired outputs)间的差异确定参数值(parameter values);在大多数情形下,任务都是静态的(static),即训练所需数据都是给定的“输入—输出”序列对。在这些方法中,由于在机器视觉、语音识别、自然语言处理、强化学习等方面的突出优势,深度神经网络(“深度学习”)已成为目前AI气象应用的主流。例如,图1给出了Pathak等[30]将一种基于局部区域和周边区域数据(或称为“蓄水池”,reservoirs)作为输入、局部区域作为输出(预报对象)的深度学习方法,可通过多重蓄水池平行运算的方式预测高维系统。

图1

图1   “蓄水池”式的数据输入—输出(Input Layer-Output Layer)在深度学习中的应用[30]

Fig.1   Application of reservoir-only prediction network (Input Layer-Output Layer) in Machine Learning[30]


2.2 AI技术在国内外观测预报中的典型应用实例

2.2.1 观测方面

美国华盛顿大学[31]开展了基于智能手机的气压分析和机器学习。IBM的TWC(The Weather Company)已经通过其智能应用程序APP建立了分布全球的气压观测网,目前已经积累了超过50亿次的智能手机气压观测数据。然而,观测传感器和基础数据存在误差必须进行质量控制,因而他们提出了一种偏差订正机器学习算法。首先,基于过去的实测气压数据和实时传感器资料训练的Gradient-boosting模型,可以分析智能手机的气压观测误差;其次,将观测气压减去分析的气压观测误差实现观测偏差订正,再使用多分辨率kriging插值,得到2018年覆盖美国大陆的逐5分钟、空间分辨率5 km、经偏差订正的气压观测(图2)。订正结果可与METAR观测资料以及快速更新同化(High-Resolution Rapid Refresh)模式资料进行比较验证。耶鲁大学[32]研究发现NCEP/NCAR、MERRA-2和ERA5等3种全球辐射再分析数据集中,月平均入射长、短波辐射都不同程度存在低估,而散射辐射在不同模式中被低估和高估的现象同时存在。测试发现随机森林方法可明显改进这一误差。通过使用地面辐射基准网络(Baseline Surface Radiation Network,BSRN)的逐小时观测,构造一个经偏差订正的全球格点化的辐射数据集。一旦训练好后,这种随机森林算法可被用于任一格点数据的订正而不需要观测资料,这非常适用于全球资料分析。

图2

图2   覆盖美国大陆逐5分钟、空间分辨率5 km经偏差订正的智能手机地面气压观测[31]

Fig.2   Surface pressure in horizontal resolution of 5 km observed by mobile phones over US[31]


2.2.2 预报方面

与AI技术在其他领域的应用发展一样,天气预报中的AI应用也从计算机视觉技术应用起步。目 前计算机视觉技术已在多普勒雷达图像智能识别和短临外推(一般为0~2小时)、卫星云图类型识别 等方面广泛应用。日本九州大学的研究小组利用 深度学习技术,开发了从全球云系统分辨率模型 (Nonhydrostatic Icosahedral Atmospheric Model, NICAM)气候实验数据中识别热带低压的方法,特别是夏季西北太平洋热带低压发生一周前的征兆。美国NWS已大力着手基于云的天气预报应用,并已启动了内部研究和发展计划(Internal Research & Development Project,IP&D)提高天气预报能力。IP&D实现了针对灾害天气的实时数据挖掘,进而用于洪水预测。通过AI算法考虑过去已导致明显洪水灾害的区域,选出预报目标区,结合亚马逊网络云服务(Amazon Web Services,AWS),通过机器学习预测该目标区的洪灾可能性和严重程度,并通过AWS网页进行图形可视化调用。NWS还做了强风(阵风大于等于25.7 m/s)实时预报,使用AI技术预测未来不同距离(风暴单元周围0、5和10 km)和时间窗(未来0~15、15~30、30~45、45~60和60~90 min)内出现大风的概率。数据集由MYRORSS(The Multi-Year Reanalysis of Remotely Sensed Storms)质量控制的雷达图像、快速更新同化(Rapid Update Cycle,RUC)模型数据、1分钟气象机场报告(METARs;国家气候数据中心2006年)和NWS地区风暴报告等构成。MYRORSS的空间和时间分辨率分别为1 km和5 min,而RUC的分辨率为13 km和1 h。主要流程包括:首先,使用实时[28]和事后[33]方法对风暴细胞进行识别和跟踪。选取预测因子包括风暴运动(速度和方向)、风暴目标的形状参数(面积、方向和偏心)等;其次,通过对流允许模型(Convection Allowing Model,CAM)集成提供有关风暴强度、位置和演化的信息,并建立可预测冰雹发生概率和预测冰雹大小分布的机器学习模型。该模型已经在两个CAM集成系统上实时运行,并通过冰雹cast诊断[34]和风暴替代变量(updraft helicity)[35]进行验证。其中,观测的冰雹由美国国家海洋和大气管理局(National Oceanic and Atmospheric Administration,NOAA)国家强风暴实验室(The National Severe Storms Laboratory,NSSL)多雷达多传感器[36]给出的冰雹最大预期[37]确定。预报和观测到的风暴根据空间和时间上的接近程度进行匹配,从每个预报风暴的范围内提取描述风暴和环境变量的统计信息,并将其输入到机器学习模型中。这种方法与Clark等[38]通过干线(dryline)判断风暴的方法有异曲同工之妙。Google公司也将深度学习用于提供空间分辨率1 km、时间分辨率1~3 h的美国大陆雨雪预报。观测资料包括遥感和地面站,如GEO和LEO卫星,多普勒雷达、雨量站,地表和气候等信息。过去2 h的历史数据主要包括:8张GOES-16卫星图像(15 min分辨率),8张或更多的多普勒雷达图像(2 min分辨率),1张IMERG/GPM LEO卫星云图(每3 h 1张),PRISM(Parameter-elevation Regressions on Independent Slopes Model)气候资料(当月的30年气候平均),地形高度。输出包括未来3 h雷达图像和/或雨量观测。与传统的深度学习方法相比,该方法考虑到卫星资料和雷达资料的观测时间差异,使用延时处理以使两者时间匹配。基于2018年和2019年数据的检验表明,该方法的3 h预报性能高于数值预报方法。另一个典型的实例是,ProbSevere公司利用多雷达多传感器(Multi-Radar/Multi-Sensor System,MRMS)的复合反射率(同时获得多个雷达的最大柱状反射率)实时识别和跟踪风暴[36]。该方法在识别时,使用了风暴附近环境以及风暴速度信息。训练标签是通过运行一个名为best track的事后风暴跟踪程序[33]。训练数据还对所有持续时间大于7 200 s的风暴进行了采样,产生了2 872 680个用于训练的样本。

近年来,我国在AI天气预报领域也取得了显著进展。中央气象台通过深度卷积神经网络机器学习基于海量热带低压云图可以判别热带气旋的生成和发展,并采用时空记忆循环网络算法的雷达外推预报准确率较光流法等传统方法有大幅提升。以香港科技大学为代表的研发团队在全球率先提出了基于卷积神经网络进行短临预测的方法(Convolutional LSTM Network),主要思路是从输入的雷达数据中使用卷积神经网络(Convolutional Neural Networks, CNN)层做特征提取并结合LSTM来做序列预测。2017年该方法的提出者施行健博士又对这一模型框架进行了改进升级,在AI国际顶级会议NIPS上发表了TrajGRU模型,克服了CNN-LSTM模型的短板,通过学习时空递归连接结构,更好地刻画强对流系统迅速变化特征。这一方法一度成为国际AI天气预报领域的参照标杆(Benchmark)。近年来,上海中心气象台与复旦大学合作提出了基于深度序回归技术的数值模式订正机器学习算法和基于STAR技术的雷达外推短临预报技术[39],改进了数值模式降水空报现象、延长了雷达外推强降水预报的时效,相关方法在2019年“利奇马”台风、汛期强降水预报服务中发挥了重要作用。除此之外,一些国内高科技公司也开发了AI天气预报技术和APP,提供了丰富的智能化预报服务产品。气象部门与高科技公司也合作通过技术大赛(如“全球气象AI挑战赛”、“神气”、“观云识天”等)等方式也推动了AI技术在天气预报中的应用发展。

2.3 AI与传统数值预报的关系

天气预报长期以来主要依靠数值模式发展取得进步。然而,大气初始条件中的不确定因素和对复杂大气过程的不完全理解使天气预报的可用时效一般限制在10天内。相比较而言,AI即使不使用控制大气的数学物理方程也可对复杂大气扰动的非线性特征有一定的刻画能力。因此,近年来,AI被越来越多的人认为是数值模式的一种可能的替代方案。然而,尽管数值模式和AI具有不同的科学范式(理论驱动和数据驱动),这两种方法却是互补和相通的,从系统建模的角度来看,至少在两个方面可以尝试将AI应用于数值预报改进。

(1)改进模式物理表达。数值预报模式中的物理参数化[40]可以应用AI进行改进,例如,可对影响对流触发的物理因子进行识别和改进对流参数化方案[41],针对模式分辨率的不同自适应调整网格尺度和次网格尺度过程所致降水的比例,以解决对流参数化的灰色区域(grey zone)网格问题;根据观测的边界层结构特点[42]改进边界层高度参数化[43];甚至可以应用于水文参数化,从几千个流域中学习环境变量(例如降水和地表坡度)并得到水文参数(例如平均、最大和最小径流)等。

(2)订正模式误差。假设无观测偏差,数值模式与观测的偏差可以认为是不完美的认知所导致的模式误差。传统的模式订正方法一般基于数值模式统计释用(Model Output Statistics,MOS)[13]模型,即基于给定时间范围内的数值模式输出与观测[44]之间的统计模型,通常使用线性回归。在更新数值模式后,在收集到足够样本的新模式预报数据后,必须通过MOS模型进行再训练。机器学习显然可以帮助识别和了解模式的误差,进而应用于MOS模型,对数值模式进行订正。图3给出了上海中心气象台基于AI模型订正数值模式预报的结果[39],这种订正可基于一种罚函数(cost function)的最小化来实现。

图3

图3   上海中心气象台基于AI模型订正后的降水预报准确率评分与其他客观预报方法的比较

EC:ECMWF模式;GFS:NCEP/GFS模式;WARMS:华东区域WRF模式;机器学习订正:OBA模型;EC、WARMS频率订正:经频率订正后的模式预报结果

Fig.3   Comparison of accuracy for different objective prediction methods

EC:ECMWF model;GFS:NCEP/GFS model;WARMS:WRF model for East China;Correction with Machine Learning:OBA modual developed by Shanghai Central Meteorological Observatory;EC,WARMS frequency correction:Prediction results from frequency correction


2.4 现有AI技术的薄弱环节

“不可解释性问题”一直被认为是AI的一个致命弱点。例如,神经网络和支持向量机生成的模型通常很难根据模型所标识的底层物理概念进行解释。对于神经网络,很难用非线性函数来解释权值;对于支持向量机,数据转换使得识别数据的最重要特性或模型识别的内容变得困难。目前的AI算法还难以从观测数据中发现因果关系,因此也难以建立可自我解释的模型。然而,基于观测的AI可解释应用还有很大的发展空间。观测几乎总是科学进步的基础,这不仅限于气象领域。例如,哥白尼通过对行星轨迹的精确观测来推断和检验它们的规律。通过对地球系统物理规则的教学模型来整合领域知识和实现物理一致性,可以在观测的基础上完善理论知识。这样,理论与观测之间、假说的提出与理论检验之间的科学互动将循环下去,得到更加合理、可信度更高的理论。显然,这也适用于天气预报。

针对天气预报模型的可解释性问题的解决,可能需要尝试以下研究工作:需要进一步加深对多源、多尺度、高维复杂时空关系的气象数据特殊性的认识,包括气象要素间时间滞后/提前的(遥相关关系)的认识。考虑充分的建模。需要开发特殊的网络体系结构和算法,以更好地处理不同时空尺度数据的相关关系。预测模型的建立应当结合天气系统的物理原理。模型应可简化为一套规则,并可通过贝叶斯/概率给出不确定性预报的可信度。考虑物理模型和数据驱动模型之间的协同作用,即混合建模:这些方法应该遵循物理定律,具有概念化和可解释的结构,同时在理论薄弱的地方具有完全的数据适应性。

3 AI在天气预报中的未来应用趋势

3.1 AI发展规划

全球领先的美国AI发展规划体现了未来国际发展趋势。美国NOAA发展策略。根据NOAA于2019年公开发布的AI发展策略。具体目标包括:建立有效的组织结构和流程,以推进AI研究创新,加强和扩大AI合作伙伴关系;实现AI战略绩效管理和效率方面的变革性进步;通过可扩展的商业数据的整合,实现数据开发能力继续保持指数级提升。美国国家航空航天局(National Aeronautics and Space Administration,NASA)基于AI的地球系统建模架构。根据美国NASA/GSFC计算和信息科学与技术办公室(Computational and Information Sciences and Technology Office,CISTO)的报告,评估了Exascale架构和AI对NASA地球系统建模的影响。由NASA Goddard的全球建模和同化办公室(Global Modeling and Assimilation Office,GMAO)开发的Goddard地球观测系统(Goddard Earth Observing System Model,GEOS)自2007年以来,就一直使用有限体积的立方球体(FV3)动态核心。自建立以来,这一独特的动力学核心使GEOS系统能够探索全球大气预测的边界。FV3支持NASA的各种建模要求,从以全球分辨率50 km的MERRA-2再分析一直运行到GEOS的全球云解析应用,如2009年的3 km,再到2015年的1.5 km非静力版本。未来10年,GEOS分辨率和复杂性的显着提高亟需建立一个完全耦合的模型,并需要相应的大规模耦合模拟计算和存储,这对Exascale架构及其可扩展性提出了需求。在这一架构中,机器学习和深度学习对高性能计算的影响在当前和不久的将来是显而易见的。

3.2 与数值预报的融合趋势

尽管AI技术近年来取得了很大的进步,在海量数据处理和图像特征识别等方面超越了传统的线性统计分析、短临雷达外推等方法,并在天气预报中发挥了越来越重要的作用。但目前,AI在天气预报中的应用仍处于“初级阶段”。第一、仍不能替代传统的数值预报,甚至明显改进数值预报;第二、远未实现对人类经验知识的学习,无法替代预报员对天气特征进行识别,仍然需要预报员投入大量精力进行“指引”,如天气特征的“标记”;第三、AI算法本身有很多瓶颈问题。如输入信息的稀疏化问题导致的高分辨率分析瓶颈。目前的AI天气预报应用大多基于计算机业内通用算法。这些算法在预测变化不剧烈的对象时已有很好的应用(例如人脸、步态、语音识别等),但对于高度耗散的、多尺度的高阶非线性灾害天气系统,尚难以预测其剧烈变化。例如目前基于AI的雷达外推对于降水预报的改进仅限于0~1 h预报。AI模型仍难以预测对流系统生成等。然而,AI与数值预报的融合可能突破AI天气预报应用瓶颈。尽管数值预报(理论驱动)与AI建模(数据驱动)以往大多被认为是两个不同的领域,但两种方法仍是可以相互融合的。AI目前难以从复杂的天气形势中完整地学习其发展规律,其中部分规律已经被人们掌握并应用于数值模式的发展,如大尺度大气环流运动的准地转、静力平衡,台风环流的梯度风平衡、中尺度运动的非静力平衡等。然而,对于影响暴雨、强对流等高影响天气的重力波、K-H波等中小尺度高阶非线性过程及其能量串级,目前数值预报和AI均难以准确描述,这需要将AI大数据分析与预报员对于中小尺度过程的预报经验和认识相结合。例如,预报员在使用基于AI方法的灾害天气预测模型时(图4),需要合理考虑AI提取的影响灾害天气发生发展的物理因素,剔除次要因素,从其中发现、提取有用的知识,这可望推动传统的天气预报技术的革命。

图4

图4   AI灾害天气预报模型优化流程

实线箭头表示主流程,虚线表示可选和循环过程

Fig.4   The optimized AI forecast flow chart for disastrous weather

Solid arrows for the main flow, dashed arrows for the optional and cycled flow


于是,有关预报员与AI的一个有趣的议题似乎已经有了初步答案:在AI迅速发展的科技进步大背景下,预报员将来是否会消失?如果研究人类的发展史,从人类钻木取火,到燃气机的发明,伴随人类发展的,是生产生活工具的迅速发展。AI可能就是这种生活工具,它将伴随人类的发展而不断进步,而不是替代人类作用。与之相关的一个重要启示就是,人类必须学会掌握这种工具才能适应生存环境,预报员亦然。

4 总结和展望

AI近年来的飞速发展,为天气预报技术的提升提供了新的历史机遇。同时,与机遇共存的是,AI在天气预报中的应用也面临很大挑战。这主要与AI的理论问题相关,针对高阶、非线性、甚至混沌的天气系统,AI仍缺少开创性的理论突破,这其中的原因是多方面的。其中非常重要的一个原因就是,相较于天气预报领域,AI技术在人脸识别、自动驾驶、医学图像检测等应用方面的经济社会效益体现更加显著;同时AI在天气预报中应用的难度过高,导致人力和社会资源投入相对较少。然而,这一现状可望在不久的将来得到改善。随着经济生活对高质量天气预报需求的日益增长,人们逐渐意识到精准天气预报可能带来的巨大效益;同时,精准天气预报已对未来AI技术发展提出了重大研究课题,将成为衡量AI技术先进性的重要标尺。

在未来5~10年,如何通过理论的创新,发挥AI的作用,提升天气预报能力,将是AI在天气预报领域的重要发展方向,这一理论创新主要体现在以下3个层面:

第一,AI理论创新层面。未来的天气预报AI算法需要着眼于导致预报不确定性的非线性、混沌性的大气运动特点,从数学(甚至统计学)与物理学(大气动力学)的本质出发,实现数学、物理的混合建模,而不仅仅是建立输入—输出映射的过程,更要从已有的数据和认识中提取新知识,揭示AI未来理论图景的冰山一角。

第二,天气预报理论创新层面。通过AI技术的应用和理论的创新,可望提出新的天气预报(数值预报、甚至大气动力学)理论。例如,现有常规的气象分析诊断方法更多关注了天气和气候尺度的信息,对于中小尺度过程的发展机理认识不足(并导致目前对流参数化瓶颈等问题)。AI技术与大数据分析的应用将为揭示中小尺度过程提供重要分析手段。

第三,AI在天气预报中的可解释应用层面。可解释的AI可能是今后长期需要努力实现的目标。据《谷歌可解释人工智能白皮书》(Google AI Explainability Whitepaper)的分析,目前AI方法的准确性和可解释性之间存在着一种负相关关系:解释性越大,准确性越低。因此,AI所基于的黑箱(black box)模型在通过采用更大量数据提高准确率的同时,也需要发展一些有力的统计学工具以实现对“黑箱”模型预测结果的合理解释(如对一些假设的量化测试验证、相关性分析、信度区间、概率分布分析等)。在未来的“智慧”天气预报业务应用中,需要探索预报系统平台与可解释AI模型的结合,如在基于AI模型预报出台风路径的突然转向时,能够自动提供预报员客观化的成因分析:“60%的原因可能是由于(多个模式报出的)副热带高压南侧的另一个热带低压阻碍了副热带高压的进一步西伸”。

未来,我们有机会将基于AI的模型试验与数值模式模拟更深入地结合,进一步加深我们对已有疑难天气预报个例的理论认识。这种试验与理论的结合一直以来是推动科学发展的动力,这也同样适用于天气预报领域。更为重要的是,天气预报领域提供了一个预报员和气象学、数学、物理学、计算机科学等专家相互合作的重要机遇和平台,有助于推动AI和天气预报技术的共同进步。

参考文献

Bjerknes V.

Dynamic Meteorology and Hydrograph, Part II. Kinematics

[M].New York: Camegie Institute, Gibson Bros,1911.

[本文引用: 1]

Key J, Maslanik J, Schweiger A.

Classification of merged AVHRR and SMMR Arctic data with neural networks

[J]. Photogrammetric Engineering and Remote Sensing, 1989, 55(9):1 331-1 338.

[本文引用: 1]

Bankert R.

Cloud classification of AVHRR imagery in maritime regions using a probabilistic neural network

[J]. Journal of Applied Meteorology, 1994,33(8):909-918.

[本文引用: 1]

Marzban C, Stumpf G.

A neural network for tornado prediction based on Doppler radar-derived attributes

[J]. Journal of Applied Meteorology, 1996, 35(5):617-626.

[本文引用: 1]

Lakshmanan V, Stumpf G, Witt A.

A neural network for detecting and diagnosing tornadic circulations using the mesocyclone detection and near storm environment algorithms

[C]//21st International Conference on Information Processing Systems, San Diego, American Meteorological Society, J5.2,

2005

.

[本文引用: 1]

Marzban C, Stumpf G.

A neural network for damaging wind prediction

[J]. Weather and Forecasting, 1998, 13 (1):151-163.

[本文引用: 1]

Marzban C, Witt A.

A Bayesian neural network for severe-hail size prediction

[J]. Weather and Forecasting, 2001, 16(5):600-610.

[本文引用: 1]

Manzato A.

Hail in northeast Italy: A neural network ensemble forecast using sounding-derived indices

[J]. Weather and Forecasting, 2013, 28(1):3-28.

[本文引用: 1]

Anagnostou E.

A convective/stratiform precipitation classification algorithm for volume scanning weather radar observations

[J]. Meteorological Applications, 2004, 11(4):291-300.

[本文引用: 1]

Lakshmanan V, Karstens C, Krause J, et al.

Quality control of weather radar data using polarimetric variables

[J]. Journal of Atmospheric and Oceanic Technology, 2014, 31(6):1 234-1 249.

[本文引用: 2]

Lakshmanan V, Rabin R, DeBrunner V.

Identifying and tracking storms in satellite images

[C]//Second Artificial Intelligence Conference, Long Beach, CA, American Meteorological Society, 90-95, 2000.

[本文引用: 1]

Lakshmanan V, Fritz A, Smith T, et al.

An automated technique to quality control radar reflectivity data

[J]. Journal of Applied Meteorology, 2007, 46(3): 288-305.

[本文引用: 1]

Newman J, Lakshmanan V, Heinselman P L, et al.

Range- correcting azimuthal shear in Doppler radar data

[J]. Weather and Forecasting, 2013, 28:194-211.

[本文引用: 2]

Trafalis T B, Ince H, Richman M B.

Tornado detection with support vector machines

[C]//International Conference on Computational Science. Berlin, HeidelbergSpringer, 2003: 289-298.

[本文引用: 1]

Adrianto I, Trafalis T, Lakshmanan V.

Support vector machines for spatiotemporal tornado prediction

[J]. International Journal of General Systems, 2007, 38(7): 759-776.

[本文引用: 1]

Dai Lijie, Zhang Changjiang, Xue Licheng, et al.

Eyed tropical cyclone intensity objective estimation model based on infrared satellite image and relevance vector machine

[J]. Journal of Remote Sensing, 2018, 22(4): 581-590.

[本文引用: 1]

戴李杰,张长江,薛利成, .

红外卫星云图和相关向量机的有眼热带气旋客观定强模型

[J]. 遥感学报,2018, 22(4):581-590.

[本文引用: 1]

Chisholm D, Ball J, Veigas K, et al.

The diagnosis of upper-level humidity

[J]. Journal of Applied Meteorology, 1968, 7(4):613-619.

[本文引用: 1]

Williams J D, Dettling A S, Steiner M.

Combining observations and model data for short-term storm forecasting

[C]//Remote Sensing Applications for Aviation Weather Hazard Detection and Decision Support, SanDiego, CA, International Society for Optics and Photonics, 2008.

[本文引用: 1]

Williams J, Sharman R, Craig J, et al.

Remote detection and diagnosis of thunderstorm turbulence

[C]//Remote Sensing Applications for Aviation Weather Hazard Detection and Decision Support, San Diego, CA, International Society for Optics and Photonics. 2008.

[本文引用: 1]

Gagne II D J, McGovern A, Brotzge J.

Classification of convective areas using decision trees

[J]. Journal of Atmospheric and Oceanic Technology, 2009, 26(7): 1 341-1 353.

[本文引用: 2]

McGovern A, Gagne II D J, Williams J K, et al.

Enhancing understanding and improving prediction of severe weather through spatiotemporal relational learning

[J]. Machine Learning, 2014, 95(1): 27-50.

[本文引用: 1]

McGovern A, Gagne II D J, Basara J.

Solar energy prediction: An international contest to initiate interdisciplinary research on compelling meteorological problems

[J]. Bulletin of the American Meteorological Society, 2015, 96(8):1 388-1 395.

[本文引用: 1]

Elmore K L, Grams H.

Using mping data to generate random forests for precipitation type forecasts

[C]//14th Conference on Artificial and Computational Intelligence and its Applications to the Environmental Sciences, 4.

2

2016.

[本文引用: 1]

Breiman L.

Random forests

[J]. Machine Learning, 2001, 45(1):5-32.

[本文引用: 1]

Friedman J H.

Stochastic gradient boosting

[J]. Computational Statistics and Data Analysis, 2002, 38(4): 367-378.

[本文引用: 1]

Schapire R E.

The boosting approach to machine learning: An overview

[M]//Denison D D,Hansen M H,Holmes C,et al.Nonlinear Estimation and Classification. New YorkSpringer, 2003.

[本文引用: 1]

Baldwin M, Kain J, Lakshmivarahan S.

Development of an automated classification procedure for rainfall systems

[J]. Monthly Weather Review, 2005, 133(4):844-862.

[本文引用: 1]

Lakshmanan V, Smith T.

Evaluating a storm tracking algorithm

[C]//26th Conference on Interactive Information Processing Systems. Atlanta, GA: American Meteorological Society, 2010.

[本文引用: 2]

Miller M L, Lakshmanan V, Smith T M.

An automated method for depicting meso-cyclone paths and intensities

[J]. Weather and Forecasting, 2013, 28: 570-585.

[本文引用: 1]

Pathak J, Wikner A, Fussell R, et al.

Hybrid forecasting of chaotic processes: Using machine learning in conjunction with a knowledge-based model

[J]. Chaos: An Interdisciplinary Journal of Nonlinear Science, 2018, 28(4): 041101.

[本文引用: 3]

McNicholas C.

Smartphone pressure analysis with machine learning and kriging

[C]//Oral Presentation, 1B.2.

The 100th American Meteorological Society Annual Meeting

Boston, MA, USA, 2020.

[本文引用: 3]

Chakraborty T.

Creating bias-corrected global radiation datasets from climate reanalysis products using supervised learning

[C]//Oral Presentation, 1A.3.

The 100th American Meteorological Society Annual Meeting

Boston, MA, USA, 2020.

[本文引用: 1]

Lakshmanan V, Herzog B, Kingfield D.

A method for extracting postevent storm tracks

[J]. Journal of Applied Meteorology and Climatology, 2015, 54(2): 451-462.

[本文引用: 2]

Adams-Selin R D, Ziegler C L.

Forecasting hail using a one-dimensional hail growth model within WRF

[J]. Monthly Weather Review, 2016, 144: 4 919-4 939.

[本文引用: 1]

Sobash R A, Schwartz C S, Romine G S, et al.

Severe weather prediction using storm surrogates from an Ensemble Forecasting System

[J]. Weather Forecasting, 2016, 31(1): 255-271.

[本文引用: 1]

Smith T M, Lakshmanan V, Stumpf G J, et al.

Multi-radar multi-sensor (mrms) severe weather and aviation products: Initial operating capabilities

[J]. Bulletin of the American Meteorological Society, 2016, 97(9):1 617-1 630.

[本文引用: 2]

Witt A, Eilts M, Stumph G, et al.

An enhanced hail detection algorithm for the WSR-88D

[J]. Weather Forecasting, 1998, 13: 286-303.

[本文引用: 1]

Clark A J, MacKenzie A, McGovern A, et al.

An automated, multi-parameter dryline identification algorithm

[J]. Weather and Forecasting, 2015, 30(6): 1 781-1 794.

[本文引用: 1]

Ma Leiming, Bao Xuwei,

Research progress on physical parameterization schemes in numerical weather prediction models

[J]. Advances in Earth Science, 2017, 32(7): 679-687.

[本文引用: 2]

马雷鸣鲍旭炜.

数值天气预报模式物理过程参数化方案的研究进展

[J]. 地球科学进展,2017, 32(7): 679-687.

[本文引用: 2]

Ma L MTan Z M.

Improving the behavior of the cumulus parameterization for tropical cyclone prediction convection trigger

[J]. Atmospheric Research, 200992(2): 190-211.

[本文引用: 1]

Ma Leiming.

Research progress on major structures of tropical cyclone boundary layer

[J]. Progress in Geophysics, 2013, 28(3):1 259-1 268.

[本文引用: 1]

马雷鸣.

热带气旋边界层关键结构研究进展

[J]. 地球物理学进展, 2013, 28(3): 1 259-1 268.

[本文引用: 1]

Ma L M, Bao X W.

Parametrization of planetary boundary-layer height with helicity and verification with tropical cyclone prediction

[J]. Boundary Layer Meteorology, 2016, 160(3):569-593.

[本文引用: 1]

Glahn H R, Lowry D A.

The use of model output statistics (mos) in objective weather forecasting

[J]. Journal of Applied Meteorology,1972, 11(8): 1 203-1 211.

[本文引用: 1]

Ma L M.

Convection forecast enhanced by the deep learning of radar observation and numerical prediction

[C]//Oral Presentation, 1B.1.

The 100th American Meteorological Society Annual Meeting

Boston, MA, USA, 2020.

[本文引用: 1]

/