大数据智能核心技术入门:从大数据到人工智能
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1 “四位一体”看大数据智能

最近几年,以大数据和人工智能为代表的前沿信息技术,发展速度惊人。笔者在第1章说到大数据的本质就是希望获得洞察历史和未来的魔幻水晶球,毕竟做“先知”的诱惑太大,而大数据智能的核心目标就是降低决策过程中的不确定性,希望能预见未来。

行业大数据和人工智能技术的融合,促进了各行各业的加速变革,以适应大数据智能技术带来的挑战。基于深度学习技术的AlphaGo,不仅在围棋领域战胜了人类顶尖高手,其向医疗健康领域的拓展速度更是惊人,基于深度学习技术的皮肤癌诊断、眼疾诊断和心脏病预测等已经达到或超过普通医生的水平Zhang Z. When doctors meet with AlphaGo: potential application of machine learning to clinical medicine[J]. Annals of translational medicine, 2016, 4(6).。如何抢占大数据和人工智能的应用高地,同时掌握相关核心技术和知识产权,是各国大数据和AI战略聚焦的焦点。本章我们就来看看大数据智能到底是怎么回事,是由怎样的关键技术体系在支撑,为什么有如此大的吸引力,炒作?泡沫?抑或是DT技术的大势所趋。

大数据智能技术的四个维度

大数据与人工智能到底是什么逻辑关系?这就不得不说说其他几个前沿信息技术领域。这些年最核心的DT技术基本可以从物联网、云计算、大数据和人工智能四个维度加以概括

为什么这样讲?结合移动互联网、物联网、云计算、人工智能这几个高科技领域一起来看,移动互联网移动互联网:是将移动通信和互联网二者结合成为一体,使得互联网的技术、平台、应用与移动通信技术相结合,并提供应用服务的商业模式,智能手机和APP的普及代表了移动互联网时代的到来。的兴起是大数据时代的分水岭,在移动互联网之前的PC互联网时代,传统的企业信息化系统多是小数据或结构化大数据;进入移动互联网时代之后,特别是Android和iPhone智能手机的普及,让每个人都成为数据产生器,甚至不需要你输入,你的位置、关注、社交等就会产生海量的数据,还有越来越广泛的企业移动应用和物联网应用,产生的数据量十分惊人。可以说没有移动互联网的普及,我们无法这么快就进入大数据时代。从技术角度讲,移动互联网也属于物联网技术范畴,物联网物联网:当前大部分学者普遍认同的物联网定义,是通过射频识别(RFID)、红外感应器、全球定位系统(GPS)、激光扫描器等信息传感和采集设备,按约定的协议,把相关物品与互联网连接起来,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络。的发展不只是让人和智能手机作为数据生产者,更是能让越来越多的电子设备、传感器、甚至道路、建筑等基础设施本身都成为数据发生器和接收器。

四位一体看大数据智能技术(见图2-1),这就好比我们人体一样,物联网(移动互联网)构造了眼耳鼻舌身等感官,主要功能是负责各类数据的自动采集;大数据是各种物联感官获取的海量感受信息,数据规模太大之后,需要云计算的分布式架构来进行无瓶颈的记忆和存储,反过来云计算的并行计算能力也促进了大数据的高效智能化处理;而基于大数据智能分析、学习、预测的人工智能就是我们最终获得的价值规律、认知经验和知识智慧。当然,人工智能模型的训练也需要大规模云计算资源的支持,构建的智能模型也能反作用于物联网,更优化、更智能地控制各种物联网前端设备,这个过程中的数据、指令交互和应用部署是一种典型的云—端互联架构。

图2-1 四位一体看大数据智能技术

大数据智能为什么离不开物联网和云计算?主要基于如下两点。

(1)物联网是大数据的采集端和智能服务的发布端,是智能服务于人和机器的重要载体,就像现在的智能手机和机器人。同时,物联网也是互联网、传统电信网等的信息承载体,让所有能行使独立功能的普通物体实现互联互通的网络。当前人工智能领域深度学习这一关键技术的突破,得益于大数据驱动,而大数据得益于可穿戴物联网设备和智能手机等的应用普及。

(2)云计算是大数据智能处理分析的基础支撑平台,提供动态可扩展的高性能存储和计算能力,支持海量数据资源的动态管理和智能模型的高性能学习。其技术实现是基于互联网进行相关服务的推送、使用和交付。通过这种方式,云中共享的软硬件资源和计算服务可以按需提供给各种服务终端和设备。

智能时代的基础IT和DT架构将是基于上述四种关键技术维度的整合。2018年3月,微软宣布肢解原来最重要的Windows部门,而组建两个新的大部:一个是体验和设备部;另一个是云计算和人工智能平台部。可以看出,微软的重组,就是打算四位一体练就大数据智能“神功”,希望能在DT时代继续保持霸主地位微软大重组:肢解Windows,拥抱AI,20年功臣离职。

云计算的支撑地位

上述两点,云计算(Cloud Computing)是必选项,下面我们就来看看云计算为什么于大数据智能如此重要。IBM的创始人Watson曾有个论断:“我认为全球大概只需要五台计算机就够了。”这在几十年前看似不可能,但大数据和人工智能的规模效应和集聚效应正在使这一预言逐步成为现实。

云计算技术是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)共同演进发展而来的。最初萌芽于亚马逊公司的“弹性计算云”(EC2)。而云计算概念的成功更多是定位于一种新兴的商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算资源、存储资源和各种软硬件服务。通过服务器集群,包括计算服务器、存储服务器、宽带服务等虚拟资源的自我维护和管理,降低整个系统的单位处理能力成本,因此云计算也被称为一种“革命性的计算模型”。

云计算是一种能够通过网络以便利的、按需付费的方式获取计算资源(包括网络、服务器、存储、应用和服务等)并提高其可用性的模式,这些资源来自一个共享的、可配置的资源池,并能够以最省力和无人干预的方式获取和释放。虚拟化和服务化是云计算的两个核心要素,服务一般分为以下三个层面(见图2-2)。

图2-2 云计算特点及三层服务

● SaaS侧重于应用级服务,通过网络提供应用软件级服务,如CRM、OA等管理系统。

● PaaS侧重于平台级服务,提供服务器基础软件平台或者开发环境服务,如基础的数据库管理和Web应用容器等。

● IaaS侧重于基础设施级服务,用户通过网络就可以从计算基础设施资源池中获得计算、网络、存储等资源服务。

云计算的本质是数据共享计算模式与服务共享计算模式的结合体,通过虚拟化技术构建大规模的分布式计算资源池,将系统的计算分布在系统资源池,统筹考虑系统资源效率,实现按需访问计算机各类资源,从而提高整个系统的使用效率。从用户角度看,其通过远程的调用,将处理数据的服务程序在购买或租赁的云平台进行,既能满足业务需求,业务可扩展性也比较好,且无前期的大量硬件投资,更无须担心硬件和基础软件的维护,而数据存储在云资源池,大大提高了数据的安全性和可靠性,并降低了IT资源的管理成本。

案例分析 华为的“云—管—端”

2010年,华为提出了“云—管—端”新一代ICT(信息通信技术)架构:云,是各种企业服务的数据中心和计算中心,代表业务的DT化,负责海量大数据的处理和分析,由华为的EI云和FusionCloud私有云等技术进行支撑;管,指网络IP化,负责海量信息的传输,依托华为的强大通信技术,以HSPA/LTE、FTTx、IP+光、NG-CDN构建新一代网络基础架构,以支撑信息和服务的互联互通。端,代表智能终端,无处不在的智能终端是云服务面向用户的直接载体,也是大数据的采集器,依托多样化的智能终端服务企业应用和互联网应用。华为提出“云—管—端”的ICT信息服务新架构,是为了顺应DT时代技术变革带来的企业运营模式转型需求(见图2-3)。

图2-3 华为FusionCloud架构图,面向企业服务的“云—管—端”架构,来源:华为官网