1.5　最优化理论

人工智能的目标就是最优化，就是在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解，因此，最优化理论同样是学习、研究人工智能必备的基础知识。

最优化理论研究的问题是判定给定目标函数是否存在最大值或最小值，并找到令目标函数取最大值或最小值的数值。如果把给定的目标函数看成连绵的山脉，最优化的过程就是找到顶峰（谷底）且到达顶峰（谷底）的过程。

最优化理论的研究内容主要包括线性规划、（不）精确搜索、梯度下降法、牛顿法、共轭梯度法、拟牛顿法、（非）线性最小二乘法、约束优化最优性条件、二次规划、罚函数法和信赖域法等。

1.5.1　目标函数

要实现最小化或最大化的函数称为目标函数，大多数最优化问题都可以通过使目标函数最小化解决，最大化问题也可以通过最小化来解决。最优化方法找到的可能是目标函数的全局最小值，也可能是局部极小值，两者的区别在于全局最小值比定义域内所有其他点的函数值都小，而局部极小值只比所有邻近点的函数值小。

当目标函数的输入参数较多、解空间较大时，大多数实用的最优化方法都不能满足全局搜索对计算复杂度的要求，因而只能求出局部极小值。但是，在人工智能和深度学习的应用场景中，只要目标函数的取值足够小，就可以把这个值当作全局最小值使用，以此作为对性能和复杂度的折中。

1.5.2　线性规划

根据约束条件的不同，最优化问题可以被分为无约束优化和约束优化两类。无约束优化对自变量的取值没有限制，约束优化则把的取值限制在特定的集合内，也就是其要满足一定的约束条件。

典型的约束优化方法是线性规划，其解决的问题通常是在有限的成本约束下取得最大的收益。约束优化问题通常比无约束优化问题更加复杂，但通过引入拉格朗日乘子，可以将含有n个变量和k个约束条件的约束优化问题转化成含有n+k个变量的无约束优化问题。

1.5.3　梯度下降法

无约束优化问题最常用的方法是梯度下降法。梯度下降法是求解无约束优化问题最常用的方法，它是一种迭代方法。直观地说，梯度下降法就是沿着目标函数值下降最快的方向寻找最小值。当函数的输入为向量时，目标函数的图像就变成高维空间上的曲面，此时的梯度就是垂直于曲面等高线并指向高度增加方向的向量，其携带了高维空间中关于方向的信息。而要让目标函数以最快的速度下降，就需要让自变量在负梯度的方向移动，用数学语言表示就是“多元函数沿其负梯度方向下降最快”。

梯度下降法实现简单，一般情况下，其解不保证是全局最优解，但当目标函数是凸函数时，用梯度下降法求得的解是全局最优解。由于梯度下降法只用到目标函数的一阶导数，因此其下降的速度未必是最快的。

人工智能是21世纪三大尖端技术之一，数学作为其关键的理论基础，使其成为一门规范的学科。数学作为一门严谨的学科，可以为人工智能提供严格的、缜密的逻辑思维，以便我们对客观问题进行建模，同时运用模糊数学、最优化理论或线性代数等求解人工智能问题，因此，数学已经成为人工智能发展的基础支撑学科。未来，可以将粗糙集、混沌与分形等更多的理论引入人工智能，从而提高人工智能执行的准确度、精确度。