上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
4.2.5 优缺点
线性模型的很多优点和缺点也适用于逻辑回归模型。
逻辑回归已被很多人广泛使用,但它难以克服其限制性的表达能力(例如,必须手动添加交互),其他模型可能具有更好的预测性能。
逻辑回归模型的另一个缺点是解释更困难,因为权重的解释是乘法而不是加法。
逻辑回归可能受到完全分离(Complete Separation)的影响。如果有一个特征能够将两个类完全分开,那么逻辑回归模型就不能再被训练了。因为该特征的权重不会收敛,所以最佳权重将是无限的。这真的有点不幸,因为这样的特征真的很有用。但是如果有一个简单的规则将两个类分开,其实就不需要机器学习了。完全分离问题可以通过引入权重的惩罚或定义权重的先验概率分布来解决。
逻辑回归模型不仅是一个分类模型,而且还给出概率。与只能提供最终分类的模型相比,这是它的一个很大的优势。知道一个实例属于某个类有99% 的概率,和只知道有51% 的概率相比是很不同的。
逻辑回归也可以从二分类扩展到多分类,后者被称为多分类回归(Multinomial Regression)。