4.3 智慧数据处理技术

数据处理是从大量的原始数据抽取出有价值的信息，即数据转换成信息的过程。数据处理主要对所输入的各种形式的数据进行加工整理，从中抽取并推导出对于某些特定人群来说有价值、有意义的数据。

4.3.1 数据处理技术发展历程

如表4-3所示，早在电子计算机发明之前就有数据自动处理的技术了。1890年，美籍德裔统计学家霍列瑞斯（Herman Hollerich）将穿孔卡片的想法运用于美国人口普查的数据制表，并创办了一家公司（后来渐渐成为IBM），将穿孔卡片用于制表机。

后来随着计算机技术，特别是计算机软件技术的发展，计算机数据处理技术发展迅速。最初的文件系统已经有了面向应用的数据管理功能，后来又发展出数据库系统。20世纪60年代后期，计算机在管理中的应用更加广泛，数据量急剧增大，对数据共享的要求越来越迫切；同时，大容量磁盘已经出现，联机实时处理业务增多；软件价格在系统中的比重日益上升，硬件价格大幅下降，编制和维护应用软件所需成本相对增加。在这种情况下，为了解决多用户、多应用共享数据的需求，使数据为尽可能多的应用程序服务，出现了数据库系统。

之后数据压缩、信息融合技术的出现，为交通数据的处理提供了新的方法。专用的智能交通系统数据压缩技术要求运用数据压缩方法去除交通信息的时间和空间相关性，常用的方法有Huffman编码、LZW编码，前沿的压缩方法有小波变换编码、分形编码等。信息融合是多源信息综合处理技术，它将来自不同信息源的信息按一定的准则加以分析、处理与综合。交通信息融合处理技术主要将来自多个传感器的数据进行综合。信息融合采用的主要方法有卡尔曼滤波技术、贝叶斯估计、人工神经网络和综合统计分析技术，主要用于城市交通监控系统、智能交通安全系统和智能驾驶系统[3]。

表4-3 数据处理技术发展历程及典型技术

4.3.2 智慧数据处理关键技术

信息通信技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，交通相关的数据量级已从TB级别跃升到PB级别乃至ZB级别[23]。在智慧交通的大背景下，前期采集到的交通信息繁杂多样，交通数据也具有巨量性、多源异构性、层次性等突出特点。如何对其进行准确、高效的处理、分析及预测成为智慧数据处理分析技术的核心内容。

交通大数据的灵活应用将给交通的发展带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面[24]。

实时性：传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应。

分布性：传统的数据应用多为单表挖掘分析，一旦涉及跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的跨表关联分析，推动数据串并关联，提高数据处理能力。

高效性：高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力。

预测性：大数据技术较高的预测能力可降低交通状态误报和漏报的概率。

随着大数据时代的来临，各种应对大数据处理的解决方案应时代而生，从最初雅虎创建了一个用于管理、存储和分析大量数据的分布式计算平台Hadoop，到后来一些实时处理平台如S4、Storm等[25]。面向智慧交通系统的交通大数据处理系统也有诸多应用。

在数据处理方面，数据处理模块作为智能交通管理系统的核心环节，通过大数据挖掘、移动互联以及云计算技术，实现可视化监管、实时分析以及信息交互等功能，依托于系统、高效的计算中心与专业的处理工具，对数据进行实时的处理，在密度较低的数据链中提炼出高价值的信息，为智能平台的决策提供可靠的参考。现阶段，数据处理的软件系统主要包括Hadoop，HPCC，Storm，Apache Drill，RapidMiner，Pentaho BI等。

在数据存储方面，智能交通管理平台的数据存储技术包括关系型的传统数据库以及HDFS、HBase、NoSQL数据库等。HDFS适用于非结构性的文件存储，存储量大；HBase属于分布型的存储系统，可以存储开源数据与非结构化数据；NoSQL类型的数据库主要存储对象是非结构化的无模式数据，可以最大限度地支持云计算技术应用[26]。