5G时代的大数据技术架构和关键技术详解
上QQ阅读APP看书,第一时间看更新

1.3 5G时代的大数据技术发展方向

1.3.1 多云架构基础设施

5G时代“大带宽、超连接、低时延”的网络特征引发无限应用场景,例如AR/VR游戏视频、车联网、工业互联网等,将给5G网络带来海量的数据处理需求,以及网络低延时性能要求,这使得电信运营商不得不将数据中心计算能力尽可能贴近用户端,集中式数据中心必然向分布式数据中心进行演化,电信运营商将需要提供边缘计算能力,据初步估计,5G网络2/3的网络开支将是面向边缘计算中心的开支。未来电信运营商数据中心将以分布式级联方式部署在从边缘到汇聚直至核心网上向数据中心云网一体化演进,呈现“分布式级联网络云”架构。多云战略未来趋势如图1-6所示。

图1-6 多云战略未来五大趋势

1.3.2 大数据云边协同计算

在5G网络下,大数据计算中心由原来的集中的核心网络数据中心延伸至边缘节点,核心网云计算中心和边缘计算中心(MEC)构成一个计算网络,每一个边缘节点都是一个小型的云计算中心,每个边缘节点根据不同的场景和数据触发相关计算任务,在本地完成后,将信息快速传送至下一级数据中心。多云网络级联大数据基础设施如图1-7所示。

图1-7 多云网络级联大数据基础设施

√ 边缘计算节点:聚焦实时、短周期数据的分析,能更好地支撑本业务的实时智能化处理与执行。

√ 核心网云计算平台:聚焦非实时、长周期数据的分析,能够在周期性维护、业务决策支撑等领域发挥特长。

1.3.3 数据虚拟化部署环境

5G网络架构引入SDN/NFV技术,使得所有的网络内容都可以用软件实现,大大提升了网络的灵活性,通过网络切片运营可以为不同场景、不同行业、不同需求、不同物联网快速实时地进行网络部署,使得网络整体效益大幅提升。在不同切片场景下,有大量对数据采集、数据处理、数据分析、人工智能服务等的需求,在5G网络环境下,大数据能力需要深度融入不同的网络切片的应用场景中,提供不同层次的数据服务能力,面向场景敏捷、高效、实时地提供大数据及智能化服务。

在5G网络功能虚拟化(NFV),以及计算和存储能力虚拟化的基础上,用户通过SDN可以配置网络,还可以根据商业模式和业务需求在不同边缘和区域通过虚拟化数据功能(DFV)部署大数据平台组件服务,根据网络切片配置相应的大数据服务。基于微服务的数据虚拟化运行环境如图1-8所示。

图1-8 基于微服务的数据虚拟化运行环境

通过数据功能虚拟化(DFV)提供的能力和服务,用户可以根据不同的数字化业务商业模式快速定制化部署所需的数据功能,通过部署不同的数据组件功能,并将其与数字化业务场景进行关联,实现大数据能力与网络切片服务场景深度融合,帮助运营商及运营商客户实现数字化服务创新。

1.3.4 数字化实体建模方式

5G网络及相关技术推动工业物联网飞速发展,5G网络通过场景和智能化连接,实现万物互联,通过数字化建模实现现实世界和数字世界的映射。数字孪生是现实世界和数字世界沟通的桥梁,是现实世界中物理实体的配对虚拟体(映射)。这个物理实体(或资产)可以是一个设备或产品、生产线、流程、物理系统,也可以是一个组织。

未来的业务开发将从流程思维优先转变到数据思维优先,以数据(data)、信息(information)、知识(knowledge)及智慧(wisdom)抽象出物理世界在数字世界的DIKW体系,构建相关行业的知识图谱,进而面向场景实现数据驱动智能化的业务。基于DIKW体系的数据智能架构如图1-9所示。

图1-9 基于DIKW体系的数据智能架构

1.3.5 大数据实时处理能力

随着5G网络的发展,涌现出大量高带宽、低时延、超连接的需求场景,特别是实时互联技术、工业控制技术对网络传输、数据返回和实时控制的实时性要求高,部分场景实时性要求在10ms以内,需要边缘计算与云边协同实现。

√ 通过边缘节点实现物理世界的实时连接,为物理世界建立实时、系统的认知数字化模型。

√ 构建边云协同的实时数据采集、实时数据传输、实时数据计算、实时策略反馈等一些实时计算能力。

在5G应用场景需求的推动下,未来需要提升数据实时处理能力,构建全网实时数据引擎,加速基于数据流的持续型智能。如图1-10所示,通过实时数据引擎,实现物理世界与数字世界的实时连接,能够实时预测物理世界的状态,然后驱动物理世界优化运行,实现商业过程和生产过程的协作,帮助企业实现数字化转型。

1.3.6 数据驱动型生产应用

5G网络下随着大数据环境的分布式部署,应用架构也更加趋于分布式。根据数字化业务需要,从边缘网到核心网的每级数据中心都可能部署应用的相关功能。同时每级数据中心的部分应用都会进一步将OLAP融合进入OLTP,形成数据驱动型应用。各个层级的OLAP服务将会充分利用实时数据流,结合本地历史数据进行机器学习挖掘模型的训练,为本地业务注智。分布式数据驱动在线分析型应用如图1-11所示。

未来5G网络环境下数字化业务场景,离不开大数据实时的数据支撑和智能策略支撑,大数据分析不仅仅是离线分析,还需要加速与业务生产环节融合,结果需实时反馈到业务生产环节中,通过数据驱动业务运营及数字化运营大数据分析,实现数据驱动企业数字化转型。

图1-10 面向5G数据流的全网实时处理能力

图1-11 分布式数据驱动在线分析型应用


(1) 香农公式:美国数学家、信息论创始人香农提出并严格证明了信息在被高斯白噪声干扰的道中,计算最大信息传送速率的公式。通过这一个物理含义可以知道,信息传输速度与带宽和信噪比之间的数据关系。