5 从商业智能看大数据智能

商业智能应用的问题

商业智能（Business Intelligence, BI）最早由加特纳集团（Gartner Group）于1996年提出，发展至今已过20年，各大型企业、机构花巨资建设的BI系统真的智能了吗？显然不是，当今的大数据时代，甚至有很多质疑传统BI的声音，花巨资建设的系统沦为豪华报表，耗费了大量的人力、物力和时间，却难以有效满足决策支持和操作型业务支持等。

为什么会这样？

我们要认识到现阶段的商业智能，还仅仅是提供基本的商业信息决策支持，利用一系列技术和工具把原始数据转化为有价值的信息，为商业分析服务。传统BI一般是成套技术解决方案，对企业日常经营过程中产生的大量数据进行采集、ETL处理和数据仓库存储，通过OLAP分析、数据挖掘等将集中的数据进行分析，转化为有用的信息和知识，从而为精益化管理和商业决策提供科学的数据支持，可见传统BI的核心是进行决策支持，这种支持远没有智能化。应该说，进入大数据时代之后，商业智能才有望摸到点智能的门，换个角度讲，传统BI如果不能在“智能”上做足文章进行迭代升级，那么其产品和技术也很可能是消亡的命运。

大数据智能条件下的BI不只是数据抽取、存储和展现，而是要通过BI过程精细化掌握企业的各个方面情况，能找出相关业务环节的瓶颈并分析问题，给出问题的解决方案。BI固然是为决策支持服务的，但要满足精细化管理和预测性决策支持目标，一线业务操作端的智能化支持不容小觑（专业的说法叫操作型BI，即OBI）。为什么BI的智能化要重视业务操作端？

一般来讲，BI是为各级领导决策服务的，传统BI的业务操作端功能很弱，甚至没有，这种情况与大数据的理念是相悖的，因为没有群体的深度参与就难以产生智能，同时这也是导致很多BI项目最终失败的根本原因。

BI需要为普通的业务人员服务，从数据采集、数据反馈和数据迭代等多个层面进行支持，提供实时性预判性的指导，OBI的服务围绕企业的业务一线，如智能客服、精准营销、库存优化、流程优化等活动。如果说大数据决策支持中心是企业的大脑，那么这些一线操作业务涉及的相关数据就是企业的神经末梢，负责各种实时数据的采集、预判和反馈，通过全面地数据采集、流动和增强，来提升企业的决策能力，就好比蜂群的集体智慧，从单个部门或人员数据中找出预测规律比较难，从整个生态种群的全面数据进行分析就更容易预测规律了。

所以说，BI要智能化，就要充分重视业务操作端，业务操作端的集体智慧决定了数据质量、数据范围和企业内外部数据的精细化服务能力，而这些恰恰是大数据智能的基础。

BI如何借力大数据智能

不少朋友把Tableau这种可视化工具作为商业智能的替代品，这是不严谨的。确实，Tableau、Qlikview等新型BI产品的冲击在倒逼传统BI产品改进，加强了操作型BI的能力。大数据智能时代，一切重量级、不灵活的系统或产品很可能存在应用陷阱，天下武功，唯快不破，大数据智能更是在强化这一点。Tableau等能在一个动态的、互动的可视化界面中去探索数据的多面性，实时地回答用户的某些问题，方便用户理解数据的关联和因果。其使操作型BI不再是领导层的专属，而成为鼓励全面参与的数据分析，“傻瓜化”的探索方式、参与第一、以人和问题为中心，这种集体智慧式的BI分析比较符合大数据智能应用的目标。正如约翰·怀尔德杜克所说：“面对那些我们坚信存在或不存在的事物时，探索性分析代表了一种态度，一种方法手段的灵活性，更代表了人们寻求真相的强烈愿望。”所以，从这个角度讲，Tableau等可视化分析工具确实促进了BI的发展和革新。

但要注意的是，数据可视化不是万能的，强调前端可视化并不意味着就能轻视后端技术，反而需要更强大的后端技术进行支撑，不然很可能沦为华而不实的炫目图表。通过自行拖曳式操作，如何快速融合多源异构数据，并有各种跨模态机器学习模型进行支撑？可视化数据的各项属性指标如何快速让用户理解其概念、层级、意义及其联系？各种分析场景下的问题识别与知识发现、跨域关联挖掘、多维度关联探索等，都是BI需要考虑的环节。总之，若想呈现高效的数据可视化，则更要加强后端的大数据智能技术。

大数据时代的商业“智能”之路怎么走？传统BI能否扩展强化为大数据智能系统？

笔者认为，传统商业智能还是以结构化数据为主，ETL、数据仓库、OLAP多是用于处理结构化数据的。结构化数据的本质还是数据孤岛，虽然形式上的数据仓库做了数据集中，但并没有完成深层的数据关联和融合，所以谈不上智能。而大数据智能没有结构化数据的限制，结构化、半结构化、非结构化数据都能统一纳入处理，这就需要跨模态、全样本数据融合处理的支持。另外，数据仓库和知识库要解决计算机对数据的深层关联和推理等关键问题。

如何整合多源异构数据资源，实现智能学习、推理、预测，为管理决策和业务操作端提供更加完整、可靠的预见性决策服务，是未来BI智能化要突破的关键技术瓶颈。

所以，大数据条件下，传统BI的技术架构已经不能满足这个需求，不管是多模态处理、多模式计算还是深度、实时学习和分析等方面，基于ETL、数据仓库、OLAP和一般可视化等技术的传统BI都有较大局限。这是不是就意味着传统BI就完全没有用了呢？也不尽然，从技术角度讲，传统BI的功能都可以被对应的大数据组件所替代，但考虑到成本和技术、数据积累等问题，能进行并行扩展的系统就不用完全重建。

大数据智能与BI的融合之路

大数据智能包括基础描述性分析和高级预测性分析两个方面。传统BI应该算是一种基础描述性分析，特别是在企业信息化和数据获取能力较弱的条件下，可以用BI来进行数据分析应用的普及；基于机器学习和深度学习的预测性数据挖掘可以理解为高级预测性分析。基础描述性分析做不好，高级预测性分析就无从谈起，当然两者的架构是有较大差异的。大数据和BI可否融合起来呢？答案是肯定的，如图2-15所示笔者提出了一个大数据智能与商业智能融合架构，通过数据融合和应用集成两个层面来整合是切实可行的。

图2-15 大数据智能与商业智能的融合架构

如图2-15所示，大数据智能和BI应该是一个数据融合和应用集成的关系，传统的商业智能分析历史，真正的智能要能预测（预见）未来。不管是BI系统还是大数据系统，都是围绕数据分析展开的：一个是偏单模态数据基础描述性分析，基于ETL、数据仓库、数据集市、OLAP等技术；另一个是多模态（多源异构）数据高级预测性分析，基于数据融合、自动特征工程、列式存储、深度学习、可视化关联分析等技术。数据规模的大小不是关键，关键在于数据融合和智能学习的强化。所以说，大数据时代的商业智能要真正实现智能化，不一定是对BI系统进行推倒重来，只需针对大数据处理特点对传统BI技术架构进行并行扩展，以解决跨模态数据融合、离线和在线、实时和历史、存量和增量、基础分析与智能学习等方面的核心问题。

总之，大数据时代的商业“智能”之路不好走，对传统重量级BI产品来讲，是一条涅槃之路，要突破的问题很多，产品太重量级，太贵，技术扩展性和敏捷性都不好，不利于快速学习掌握，要实施好也很困难；对新兴大数据技术来讲，是一条融合和兼容并包之路，大数据强大的前端可视化交互分析能力，大数据技术交互式、实时性、开放性、迭代性、容错性等数据科学基因，都是传统BI要学习的地方，当然传统BI的数据积淀对大数据智能应用来讲也会起到事半功倍的效果。