2.大数据分析的发展过程
大数据分析的发展过程依托于整个大数据领域的产生和发展。大数据分析能够发展到今天,离不开数据量的发展和分析技术的发展,主要体现在以下几个方面。
(1)互联网数据大爆炸
近年来,随着大数据、云计算、物联网、移动互联网、人工智能等技术的发展,数字化浪潮正席卷全球。由此带来的海量异构化数据,以及新业务的个性化需求,引发了互联网数据的“大爆炸”,人们已经难以用传统方式捕捉、管理和处理数据了。海量异构化数据的出现,推动了大数据分析的发展。
(2)商务智能的发展
商务智能(Business Intelligence,BI)是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。20世纪末,第一次出现了BI的概念。BI提供了使企业能迅速分析数据的技术和方法,可收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。
BI系统的发展有以下几个特点。
①在功能上具有可配置性、灵活性。
对于用户在职权、需求上的差异,BI系统提供了广泛的、具有针对性的功能,从简单的数据获取,到利用Web、局域网和广域网进行丰富的交互,再到决策信息和知识的分析和使用。
②从单独的BI系统向嵌入式BI系统发展。
这是目前BI系统发展的一大趋势,即在企业现有的事务处理系统(如财务系统、销售系统等)中嵌入BI组件,使普遍意义上的事务处理系统具有BI的特性。
③从传统功能向增强型功能转变。
增强型的BI功能是相对于早期的用结构查询语言(Structure Query Language,SQL)工具实现查询的传统BI功能而言的。目前应用中的BI系统除实现传统BI系统的功能之外,大多数已实现了数据分析层的功能。而数据挖掘、企业建模是BI系统应该加强的功能,加强这些功能能更好地提高系统性能。
(3)大数据分析技术的发展
近年来,数据采集、存储、安全等方面的技术更加成熟,从而带动了大数据分析技术的发展。利用大数据分析技术可以从海量数据中提取有价值的信息,并对这些信息进行分析和预测,例如,风险预测与防范、用户忠诚度分析与用户流失预测、市场数据分析与业务决策等。
大数据分析技术主要是从结构化数据和非结构化数据中挖掘有用的信息,得出有用的结论。未来,大数据分析技术将向这两个方向发展。
①对海量的结构化和非结构化数据进行分析,挖掘数据背后的信息。
②对非结构化数据进行深度分析,将文字、图像、音频、视频等类型的信息转化成有用的结论。
目前,比较主流的大数据分析平台,既有开源的Hadoop,也有阿里云的云原生大数据计算服务MaxCompute。