中国即将引爆气象大数据_大数据案例分享

20年气象数据增长数千倍

与世界大数据时代的进程相同，气象数据量不断翻番。

上世纪90年代及之前，气象资料大部分局限于地面及高空观测。当时，2000多个地面站以小时为单位收集气象信息；120多个高空站每天观测最多不超过4次。从数据量上看不算太多，即便考虑到卫星和雷达资料，其总体日增量也局限在GB量级。

现在，地面观测站大约有4万个，每10分钟观测一次，未来还将加密至分钟级；在空间密度上，至少增加20倍，频度将增加60倍，地面及高空观测信息总量增加了1200倍。

而这些只占整个气象数据的30%,雷达、卫星以及数值预报数据占到了70%.目前，每年的气象数据已接近PB量级（1000GB=1TB,1000TB=1PB）。

这也正是大数据规律的体现，即对大数据进行相对简单的运算永远比对小数据进行复杂运算得出的结果准确。观测信息量越大，所蕴藏的真实信息越多，就更能做好预报。

国家气象信息中心副总工沈文海总结气象部门大数据特征：从某种程度上说，气象部门一直在运用大数据方法，例如，气候因子“正相关”“遥相关”以及一些统计学方法。

业界定义的“大数据”特点除了大容量、多种类型、高速增长，还有价值稀缺，即在庞大的数据中找出所需要的有价值数据如同大海捞针，需要通过相应的数学模型进行计算。反观气象行业，尽管数据量逐步变大，但每个数据都有特定的价值，因此气象行业的数据不完全符合业界所定义的“大数据”特征。

中国科学院院士倪光南分析，到目前为止，“大数据”主要运用对象是社会科学部门，例如政府、公共卫生、社会安全等部门，而运用在自然科学界的案例很少。

气象服务盘活数据

海量气象数据怎么用？这是大数据时代亟待考虑的问题。就现有情况看，数据在气象预报、气候预测诊断方面运用得比较充分；而在气象服务领域，大量实况观测数据往往被搁置。

目前的实况数据气象服务主要基于单要素单一站点的形式。这意味着，人们收到的气象服务只是周边气象站点的天气情况，并且总有延迟。

为此，科研人员正在引进国际先进的空间数据融合数值模式方法，即将周边几个站点的数据以及其他传感器所获得的数据融合进模式中，反演出整个区域的天气情况。从试验结果看，运算速度达到分钟级，小区域可达到秒级。

“这些工作都是在大数据的基础上才能够进行，无论模式如何先进，没有海量的数据进入，都不能达到很好的效果。”中国气象局公共气象服务中心高级工程师唐千红说。

让科研人员欣喜的是，在大数据时代，数据并非单纯指人们在互联网上发布的信息。全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、温度、湿度乃至空气中化学物质的变化。可以设想，这些信息都可以被气象部门所用。

大数据时代下的气象服务是什么样子？唐千红认为，在看得见的未来，融入了地理信息、社会经济数据的气象服务，能够让人们知道任意时间地点可能会发生什么，例如这阵风是否会吹翻门口的广告牌，前面一个高速路口是不是在下雨、会不会发生山洪。

云计算搭载大数据

海量数据涌入，传统的处理设备难以满足大数据处理的功能和性能要求，因此需要超大规模的计算。

但由于大数据处理的非常态性，单为处理大数据而配置大规模计算资源，那么当处理完成后，计算资源很可能被闲置，从而造成浪费。

而云计算很好地解决了这一问题。宽带资本董事长田溯宁说，大数据与云计算是一个问题的两面，一个是问题，一个是解决问题的方法。

云计算是大数据时代的基础。当浪涌式的需求出现时，向“云端”提出申请，“云端”为该需求迅速组织计算资源，而在计算结束并将结果反馈后，“云端”又可将这些临时组织起来的资源快速释放，以做他用。“这样不仅提高了资源利用率，还使得很多科研人员不需要为了复杂的运算购买昂贵的超级计算机，大大降低了使用者的准入门槛。”沈文海解释道。

反观气象行业，一些调研数据显示，很多省级气象信息中心计算机平均CPU使用率不到5%,最低者低于0.04%.此外，一些县级气象部门规划建设数据中心，而一个县级平台70%的数据都从省级平台调集而来，如果采用云计算手段，在省级气象信息中心运算后得出结果，就可避免再建设的高投入以及后期的维护成本。

云计算改变了人们的思维和工作模式。今年，IT行业出现了基于云计算的BYOD概念，即带着自己的IPAD、手机或者智能电视，接入网络进行办公。“一些省级气象信息部门做了相关尝试。今后，预报员也许可以拿着IPAD,出差在外也能做预报。”沈文海说。

靠谁打破数据壁垒

并不是仅靠硬件就能在大数据时代站稳脚跟。

“沿着气象服务社会化方向，光靠气象部门的数据很难满足各行各业及公众对气象服务的需求。” 中国气象局公共气象服务中心系统开发运行室主任惠建忠看到了大数据时代中气象部门的困境。

气象数据要和行业数据、地理信息数据结合起来才更能发挥作用。例如，预报降雨对大坝的影响，就必须了解当地地形、周边设施、上下游情况等。

然而，数据不能充分共享以及共享渠道阻塞成为大数据时代下不可忽视的难题。“气象信息、高精度的地理信息是受到法律保护的具有较高机密级别的信息。除此之外，各行各业都握有大量的行业数据，但这些数据往往局限在部门内部，很难流通。” 唐千红说。

在一些西方国家，气象观测数据在进行融合处理后会进入信息数据库，使用者可以根据自身的安全等级获得相应安全等级的数据，进行延伸使用。

“由此可见，将信息交予虚无缥缈的‘云’端，如何令有关管理部门和责任人确信这些数据是安全的，是打通数据孤岛的必要科学性问题。” 惠建忠说。在大数据时代的推动下，各部门终将走上互惠共赢、数据共享之路。

转载请注明：数据分析 » 中国即将引爆气象大数据_大数据案例分享