Greenplum:从大数据战略到实现
上QQ阅读APP看书,第一时间看更新

1.4 ABC之间的关系

前面已经解释了ABC的概念,这里我们来讨论一下ABC之间的重要内在关系以及这些内在关系带来的可以赋能于商业的巨大技术产能。从技术角度上看,ABC之间有以下两层重要关系:

1)大量数据输入到大数据系统,从而改善大数据系统里建立的机器学习模型。

2)云计算提供的算力使得普通机构也可以在今天用大数据系统计算大量数据从而获得AI能力。

先看第一层关系。谷歌研究院的F. Pereira、P. Norvig和A. Halevy发表了一篇文章《数据的奇效》Fernando. Pereira, Peter Norvig and Alon Halevy, The Unreasonable Effectiveness of Data, IEEE Intelligent Systems, vol. 24, no., pp. 8-12,2009。Norvig也是《人工智能:一种现代的方法》一书的联合作者。,解释了如何通过大量数据提高机器学习模型的准确率。早在谷歌之前,微软研究院的Michele Banko和Eric Brill在他们的论文《扩展到非常非常大文本来去除自然语言歧义》Banko and Brill, Scaling to Very Very Large Corpora for Natural Language Disambiguation, Proceedings of ACL,2001。中,展示了使用海量数据后各个机器模型的准确率都有大幅度提高,如图1-6所示。这一结论为机器学习和人工智能的问题求解指出了一个新方向:用大量数据和大数据计算来提高人工智能。对比一下自然语言翻译在最近10年因为利用大数据和计算所带来的进展,读者就能感觉到这种力量。

图1-6 用海量数据后各个机器模型的准确率都有大幅度提高

再看第二层关系。云计算带来的巨大好处就是提供商品化的计算资源,以前只有政府机构和大型企业才能拥有的巨大计算资源,现在可以被一个创业公司所拥有。这个从量变到质变的过程使得我们可以重新审视一些计算机行业的难题一般来说,我们并不比前人聪明,但是我们会在量变到质变的过程中重新审视前人没有机会解决的问题。。计算资源的丰富使得大数据技术能够以更低的门槛被使用。云计算将大数据技术平民化,使得大数据技术被企业广泛采用,企业也利用大数据养成了保管数据的习惯,把数据当作未被开采的资源。大数据的普及给人工智能的分支—机器学习带来了意想不到的惊喜。

综合前面讨论的ABC的内在含义,当前的机器学习、人工智能可以朝着以下两个方向前进:

1)设计新的机器学习模型,在前人的模型上有所创新,改进模型效果。

2)使用已有的机器学习模型,但是利用前人所没有的数据量和云计算带来的计算能力来改进模型效果。

谷歌公司的Norvig曾经说过“我们没有更好的算法,但是有更多的数据”Xavier Amatriain, In Machine Learning, What is Better: More Data or Better Algorithms, https://www. kdnuggets.com/2015/06/machine-learning-more-data-better-algorithms.html,2015。。显然,Norvig鼓励按第二种方法进行创新,当然,这不意味着用第一种方法创新不重要。但需要指出的是,第一种方法的创新门槛要远高于第二种,除了世界顶级的机构,普通机构很难拥有相应的资金、人才及配套的管理和文化来支撑第一种创新方法。第二种方法对于传统的机构也是可以重复和实践的,按照已经有的方法论、成功案例和人才培训可以实现基于大数据和机器学习的高阶数字化转型。

前面讨论的ABC的关系可以总结成图1-7。云计算从量变到质变带来前所未有和平民化的计算资源。企业和互联网在数字化应用方面产生了大量的数据。这些数据和计算能力使得大数据技术普及到普通机构,而这些机构利用大数据来创建和改善现有的机器学习模型,带来更好的人工智能成效。

图1-7 ABC之间的关系

到目前为止的讨论严格限制在技术的演进上。下一章将在商业层面继续讨论图1-7中大数据、模型和应用之间的关系,着重分析商业决策者如何利用在大数据系统上的AI机会来改善自己的数字应用,以巩固竞争优势。

AI带来的社会影响可能超过前三次技术革命。随着科技和商业不断推动AI技术前进,AI和人之间的关系是技术领袖、商业领袖和政策制定者们不得不思考的问题。前面关于AI和人的关系的大部分讨论都没有系统化和逻辑化,因而不是一个学术讨论,1.5节则会在邱奇和图灵的学术讨论上回顾并延伸到AI和人的讨论。这部分讨论非常硬科学,可以作为选读内容。但是对于那些有兴趣深入思考AI技术和人类关系的读者或者希望跳出AI框架内应用创新而成为系统创新者的读者,啃啃这根硬骨头定有“会当凌绝顶,一览众山小”的感觉。