Python计算KS指标详解：处理NaN数据与多种实现方式对比
本文详解利用Python计算KS（Kolmogorov-Smirnov）指标的三种主要方法：基于pandas.crosstab、sklearn.roc_curve以及scipy.stats.ks_2samp。重点分析当数据包含NaN值时各方法的差异，指出直接调用内置函数可能因排序机制导致误差或报错，并提供提前清洗数据或使用自定义累积分布计算的正确解决方案，确保风控模型评估的准确性。
KS指标在风控模型中的定义与作用
在金融风控领域，真实标签y与模型预测的违约概率分别对应两个未知的分布。评估优质信用风控模型通常需综合考量准确性、稳定性及可解释性三个维度。
理想状态下，好人样本与坏人样本的分布应存在显著差异。KS（Kolmogorov-Smirnov）作为衡量模型区分能力的核心有效性指标，其本质是计算好坏样本累计分布曲线之间的最大差值。
好坏样本累计分布的差异越大，KS指标数值越高，表明模型对风险样本的区分能力越强。
Python计算KS值的四种实现方法
方法一：利用crosstab实现。计算KS的核心在于获取好坏样本的累积概率分布，可通过pandas库中的crosstab函数构建交叉表并计算累积分布。
方法二：利用roc_curve实现。sklearn库中的roc_curve函数在计算ROC曲线和AUC时，内部已生成好坏样本的累积概率分布，可直接利用该函数提取KS值。
方法三：利用ks_2samp实现。通过调用scipy.stats库中的ks_2samp()函数进行计算，具体实现逻辑可参考scipy.stats.ks_2samp的源码链接。
方法四：直接调用stats.ks_2samp()函数计算KS值。
import pandas as pd
import numpy as np
from sklearn.metrics import roc_curve
from scipy.stats import ks_2samp
def ks_calc_cross(data,pred,y_label):
'''
功能: 计算KS值，输出对应分割点和累计分布函数曲线图
输入值:
data: 二维数组或dataframe，包括模型得分和真实的标签
pred: 一维数组或series，代表模型得分（一般为预测正类的概率）
y_label: 一维数组或series，代表真实的标签（{0,1}或{-1,1}）
输出值:
'ks': KS值，'crossdens': 好坏客户累积概率分布以及其差值gap
'''
crossfreq = pd.crosstab(data[pred[0]],data[y_label[0]])
crossdens = crossfreq.cumsum(axis=0) / crossfreq.sum()
crossdens['gap'] = abs(crossdens[0] - crossdens[1])
ks = crossdens[crossdens['gap'] == crossdens['gap'].max()]
return ks,crossdens
def ks_calc_auc(data,pred,y_label):
'''
功能: 计算KS值，输出对应分割点和累计分布函数曲线图
输入值:
data: 二维数组或dataframe，包括模型得分和真实的标签
pred: 一维数组或series，代表模型得分（一般为预测正类的概率）
y_label: 一维数组或series，代表真实的标签（{0,1}或{-1,1}）
输出值:
'ks': KS值
'''
fpr,tpr,thresholds= roc_curve(data[y_label[0]],data[pred[0]])
ks = max(tpr-fpr)
return ks
def ks_calc_2samp(data,pred,y_label):
'''
功能: 计算KS值，输出对应分割点和累计分布函数曲线图
输入值:
data: 二维数组或dataframe，包括模型得分和真实的标签
pred: 一维数组或series，代表模型得分（一般为预测正类的概率）
y_label: 一维数组或series，代表真实的标签（{0,1}或{-1,1}）
输出值:
'ks': KS值，'cdf_df': 好坏客户累积概率分布以及其差值gap
'''
Bad = data.loc[data[y_label[0]]==1,pred[0]]
Good = data.loc[data[y_label[0]]==0, pred[0]]
data1 = Bad.values
data2 = Good.values
n1 = data1.shape[0]
n2 = data2.shape[0]
data1 = np.sort(data1)
data2 = np.sort(data2)
data_all = np.concatenate([data1,data2])
cdf1 = np.searchsorted(data1,data_all,side='right')/(1.0*n1)
cdf2 = (np.searchsorted(data2,data_all,side='right'))/(1.0*n2)
ks = np.max(np.absolute(cdf1-cdf2))
cdf1_df = pd.DataFrame(cdf1)
cdf2_df = pd.DataFrame(cdf2)
cdf_df = pd.concat([cdf1_df,cdf2_df],axis = 1)
cdf_df.columns = ['cdf_Bad','cdf_Good']
cdf_df['gap'] = cdf_df['cdf_Bad']-cdf_df['cdf_Good']
return ks,cdf_df
data = {'y_label':[1,1,1,1,1,1,0,0,0,0,0,0],
'pred':[0.5,0.6,0.7,0.6,0.6,0.8,0.4,0.2,0.1,0.4,0.3,0.9]}
data = pd.DataFrame(data)
ks1,crossdens=ks_calc_cross(data,['pred'], ['y_label'])
ks2=ks_calc_auc(data,['pred'], ['y_label'])
ks3=ks_calc_2samp(data,['pred'], ['y_label'])
get_ks = lambda y_pred,y_true: ks_2samp(y_pred[y_true==1], y_pred[y_true!=1]).statistic
ks4=get_ks(data['pred'],data['y_label'])
print('KS1:',ks1['gap'].values)
print('KS2:',ks2)
print('KS3:',ks3[0])
print('KS4:',ks4)
运行上述代码后的输出结果如下：
KS1: [ 0.83333333]
KS2: 0.833333333333
KS3: 0.833333333333
KS4: 0.833333333333NaN数据对KS计算的影响及解决方案
当数据集中存在NaN（缺失值）时，不同计算方法会表现出不同的行为，需特别注意。
例如，在原数据集中增加一组y_label=0且pred=np.nan的数据记录。
data = {'y_label':[1,1,1,1,1,1,0,0,0,0,0,0,0], 'pred':[0.5,0.6,0.7,0.6,0.6,0.8,0.4,0.2,0.1,0.4,0.3,0.9,np.nan]}
此时执行以下代码：
ks1,crossdens=ks_calc_cross(data,['pred'], ['y_label'])
得到的输出结果为：
KS1: [ 0.83333333]
接着执行：
ks2=ks_calc_auc(data,['pred'], ['y_label'])
系统将抛出以下错误信息：
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
再执行：
ks3=ks_calc_2samp(data,['pred'], ['y_label'])
得到的输出结果为：
KS3: 0.714285714286
最后执行：
ks4=get_ks(data['pred'],data['y_label'])
得到的输出结果为：
KS4: 0.714285714286
通过对比上述结果可以发现：
三种方法计算出的KS值并不一致。
ks_calc_cross在计算时自动忽略了NaN值，从而得到了数据正确的概率分布，其计算的KS值与手动计算结果一致。
ks_calc_auc函数由于底层内置函数无法处理NaN值，直接报错终止；因此若需使用ks_calc_auc计算KS，必须预先剔除数据中的NaN值。
ks_calc_2samp计算出的KS值存在误差，原因在于searchsorted()函数（感兴趣者可模拟数据验证该函数行为）会将NaN值默认排序为最大值，从而改变了数据的原始累积分布概率，导致计算结果偏离真实KS值。
总结
在实际业务场景中，计算违约概率的KS值时通常不存在NaN值，因此上述三种方法均可使用。然而，在计算单变量KS值时，若数据质量较差且存在NaN值，继续使用ks_calc_auc和ks_calc_2samp将导致错误或误差。
针对NaN值问题，建议采取以下两种解决办法：
1. 在计算前预先去除数据中的NaN值。
2. 直接使用ks_calc_cross方法进行计算。
以上关于利用Python计算KS指标的实例详解即为全部内容，希望能为读者提供参考，欢迎支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
