2.3.6　模型评估

建立完模型后，下一步需要做的是评估模型效果，评估通过后才能正式上线并应用到风控策略中去。模型评估主要从准确性、区分度和稳定性这三个方面考虑。

（1）准确性

信贷场景是一个典型的样本不均衡问题，业务性质决定了建模样本中的逾期客户数一定远小于正常客户数，因而采用ROC曲线下面积（Area Under ROC Curve，AUC）来衡量模型的整体准确性。与其他衡量准确性的指标相比，AUC具有较好的稳定性，不会受到正负样本分布不均衡的影响。欲评估二分类模型的准确性，首先需要了解混淆矩阵（Confusion Matrix），它的作用是帮助我们了解模型预测的正负与实际正负之间的差异关系，混淆矩阵如表2-9所示。

表2-9　混淆矩阵

基于混淆矩阵，我们可以计算真阳率（True Positive Rate，TPR）和假阳率（False Positive Rate，FPR）。真阳率说明了模型预测对的正样本占实际正样本的比例，假阳率说明了模型没有预测对的正样本占实际负样本的比例，计算公式分别如下：

我们将模型预测的结果从小到大排序，并计算不同阈值下对应的真阳率和假阳率。假设以预测结果的最大值作为阈值，则所有样本预测为负，真阳率和假阳率均为0；假设以预测结果的最小值作为阈值，则所有样本预测为正，真阳率和假阳率均为1。以此类推，可以得到若干个点及其对应的真阳率和假阳率。将假阳率作为横轴，真阳率作为纵轴，可以绘制出感受性（Receiver Operating Characteristic，ROC）曲线，ROC曲线下的面积即为AUC。图2-6为捷信客户评分卡模型的ROC曲线，其中虚线代表随机模型对应的AUC为0.5，计算该评分卡模型测试集上AUC为0.73，具有一定的准确性。

图2-6　捷信客户评分卡模型ROC曲线和AUC

（2）区分度

区分度（Kolmogrov-Smirnov，KS）主要衡量了模型对于正样本和负样本的最大间隔距离。某种意义上来说，在评分卡模型的评估指标中，区分度的重要性甚至更胜于准确性，因为区分度能够更好地看出正常客户和逾期客户分布上的差异，是对于模型排序能力的综合评估。绘制KS曲线，首先将样本按照模型的预测结果从小到大排序，计算不同分数下好坏样本的累积占比（Cumulative Distribution Function，CDF）曲线，CDF曲线间隔的最大值即为KS。图2-7为捷信客户评分卡模型的好坏样本CDF曲线，该模型测试集上KS=0.34，具有较好的区分度。

图2-7　捷信客户评分卡模型CDF曲线和KS

在实际风控场景建模过程中，KS的上限与逾期定义具有很强的联系，逾期定义越严格意味着本身好坏人差异较大，利用模型也更加容易把坏人区分出来。通常M1+的评分卡模型KS在0.3左右，M3+的评分卡模型KS能够达到0.4。

（3）稳定性

与变量筛选时类似，对于最终模型的结果也要进行稳定性分析，评估指标与变量一样也是PSI，小于0.1可以证明模型结果较为稳定。这里也能看出之前变量筛选阶段稳定性分析的必要性，去除稳定性较差的变量可以大大提升最终模型的稳定性。