1.3 基本优化问题
基本的优化问题是：
在这里，x是一个设计点。该点可以表示为一个向量，该向量对应于不同设计变量的值。下面是一个n维的设计点[1]：
在这里xi表示第i个设计变量。可以调整该向量中的元素以最小化目标函数f。在最小化目标函数的可行集X的所有点中，x的任何值都称为解或极小元。特解写作x*。图1.3展示了一个一维优化问题的例子。
图1.3 一个一维优化问题。请注意，极小值只是可行集合中的最佳值，更小的值可能存在于可行区域之外
这个公式是通用的，这意味着任何优化问题都可以根据方程（1.1）重写。特别需要注意的是，问题
可以写作
这是相同问题的不同表现形式，因为它们的解相同。
运用这种数学公式对工程问题建模可能具有挑战性。确切表达优化问题的方式往往决定了问题解决过程的难易[2]。在问题大致确定之后，我们将重点关注优化的算法方面[3]。
由于本书讨论各种不同的优化算法，人们可能会想知道哪种算法最好。正如Wolpert和Macready的没有免费午餐定理所阐述的那样，除非我们对可能的目标函数空间的概率分布做出假设，否则没有理由偏好某种算法。如果一种算法在一类问题上比另一种算法表现更好，那么它可能会在另一类问题上表现稍差[4]。为了使许多优化算法有效工作，在目标函数中需要有一些规律性，例如Lipschitz（利普希茨）连续条件或凸性，我们将在后面介绍这两个主题。在讨论不同的算法时，我们将概述它们的假设、原理的设计动机，以及它们的优缺点。
[1] 例如在Julia中，带有逗号分隔项的方括号用于表示列向量。设计点是列向量。
[2] S. Boyd and L. Vandenberghe，Convex Optimization. Cambridge University Press，2004.
[3] 许多文献提供了如何将现实世界中的优化问题转化为优化问题的示例。例如：
R. K. Arora，Optimization：Algorithms and Applications. Chapman and Hall/CRC，2015.
A. D. Belegundu and T. R. Chandrupatla，Optimization Concepts and Applications in Engineering，2nd ed. Cambridge University Press，2011.
A. Keane and P.Nair，Computational Approaches for Aerospace Design. Wiley，2005.
P.Y. Papalambros and D. J. Wilde，Principles of Optimal Design. Cambridge University Press，2017.
[4] D. H. Wolpert and W. G. Macready，“No Free Lunch Theorems for Optimization，”IEEE Transactions on Evolutionary Computation，vol.1，no.1，pp. 67-82，1997.