企业官网建设流程全解析

模型评估体系（二）：ROC 曲线与 AUC 值 —— Java 绘制评估图表

——别再只看 F1 了，你的模型可能在“阈值陷阱”里打转

大家好，我是那个总在模型评审会上被问“为什么调高阈值后坏客户漏得更多？”、又不得不回 KES 表里重算整条 ROC 曲线的老架构。你可能已经用混淆矩阵和 F1 值证明了模型的基本能力，甚至封装了漂亮的 Java 工具类。

但 F1 有个致命缺陷：它依赖一个固定的分类阈值（通常是 0.5）。
而真实业务中，阈值是动态的策略变量——

• 风控收紧时，我们愿意牺牲用户体验（提高 Precision），也要抓更多坏人（提升 Recall）；
• 营销宽松时，我们宁愿多打扰一些用户（降低 Precision），也不愿错过潜在客户（提升 Recall）。

这时候，F1 就不够用了。我们需要一个与阈值无关的全局指标。

今天我们就深入ROC 曲线与 AUC 值，并用纯 Java 实现从 KES 读取预测概率、计算 AUC、绘制 ROC 图表的完整流程。全程不依赖 Python、不调 matplotlib，只为回答那个灵魂问题：

“抛开阈值干扰，你的模型本身到底有多强？”

一、为什么需要 ROC 和 AUC？

假设我们在电科金仓 KES 中有一张带预测概率的表：

CREATETABLEai_models.loan_scores(app_idBIGINT,labelBOOLEAN,-- 真实是否违约probREAL-- 模型输出的违约概率 [0.0, 1.0]);

如果我们只看prob > 0.5的 F1 值，就完全忽略了模型在其他阈值下的表现。
而ROC 曲线通过遍历所有可能阈值，展示模型在“敏感度 vs 特异度”上的整体能力。

• TPR（True Positive Rate） = Recall = TP / (TP + FN)
• FPR（False Positive Rate） = FP / (FP + TN)

ROC 曲线就是TPR vs FPR 在不同阈值下的轨迹。
而AUC（Area Under Curve）就是这条曲线下的面积——值越大，模型越强。

✅ AUC ∈ [0.5, 1.0]

• 0.5：随机猜测
• 0.7~0.8：可用
• 0.8~0.9：良好

• 0.9：优秀

二、Java 实现：从 KES 读取概率并计算 AUC

2.1 定义数据结构

publicclassPrediction{publicfinalbooleanlabel;publicfinaldoubleprob;publicPrediction(booleanlabel,doubleprob){this.label=label;this.prob=prob;}}

2.2 从 KES 加载预测结果

publicList<Prediction>loadPredictionsFromKES(Connectionconn,StringtableName)throwsSQLException{Stringsql="SELECT label, prob FROM "+tableName+" ORDER BY prob DESC";List<Prediction>preds=newArrayList<>();try(PreparedStatementps=conn.prepareStatement(sql);ResultSetrs=ps.executeQuery()){while(rs.next()){preds.add(newPrediction(rs.getBoolean("label"),rs.getDouble("prob")));}}returnpreds;}

🔗 使用 电科金仓 JDBC 驱动 确保REAL类型精度。

2.3 高效计算 AUC（基于排序法）

publicstaticdoublecomputeAUC(List<Prediction>predictions){// 按概率降序排列（已由 SQL 保证）longposCount=predictions.stream().filter(p->p.label).count();longnegCount=predictions.size()-posCount;if(posCount==0||negCount==0)return0.5;doubleauc=0.0;longrankSum=0;for(inti=0;i<predictions.size();i++){if(predictions.get(i).label){rankSum+=(i+1);// 排名从1开始}}// Mann-Whitney U 统计量doubleu=rankSum-(posCount*(posCount+1))/2.0;auc=u/(posCount*negCount);returnMath.max(0.0,Math.min(1.0,auc));// 限制范围}

💡 此方法时间复杂度 O(N log N)，比遍历所有阈值快得多。

三、绘制 ROC 曲线：用 Java 生成 PNG 图表

我们使用轻量级库XChart（无 GUI 依赖，适合服务器环境）：

<!-- Maven 依赖 --><dependency><groupId>org.knowm.xchart</groupId><artifactId>xchart</artifactId><version>3.8.2</version></dependency>

3.1 生成 ROC 点序列

publicstaticList<double[]>computeRocPoints(List<Prediction>preds){// 按概率降序（高概率 → 低阈值）List<double[]>points=newArrayList<>();longtp=0,fp=0;longtotalPos=preds.stream().filter(p->p.label).count();longtotalNeg=preds.size()-totalPos;// 初始点 (0,0)points.add(newdouble[]{0.0,0.0});// 从高概率到低概率，逐个视为正例for(Predictionp:preds){if(p.label)tp++;elsefp++;doublefpr=fp/(double)totalNeg;doubletpr=tp/(double)totalPos;points.add(newdouble[]{fpr,tpr});}// 终点 (1,1)points.add(newdouble[]{1.0,1.0});returnpoints;}

3.2 绘图并保存为 PNG

publicstaticvoidplotRocCurve(List<double[]>points,doubleauc,StringoutputPath){double[]fprs=points.stream().mapToDouble(p->p[0]).toArray();double[]tprs=points.stream().mapToDouble(p->p[1]).toArray();XYChartchart=newXYChartBuilder().width(800).height(600).title("ROC Curve (AUC = "+String.format("%.4f",auc)+")").xAxisTitle("False Positive Rate (FPR)").yAxisTitle("True Positive Rate (TPR)").build();chart.getStyler().setDefaultSeriesRenderStyle(XYSeries.XYSeriesRenderStyle.Line);chart.getStyler().setLegendVisible(false);chart.getStyler().setMarkerSize(0);chart.addSeries("ROC",fprs,tprs);// 添加对角线（随机猜测）chart.addSeries("Random",newdouble[]{0,1},newdouble[]{0,1}).setLineStyle(SeriesLineStyle.DASH_DASH);try{BitmapEncoder.saveBitmap(chart,outputPath,BitmapFormat.PNG);System.out.println("ROC chart saved to: "+outputPath);}catch(Exceptione){thrownewRuntimeException("Failed to save ROC chart",e);}}

四、端到端示例：从 KES 到 PNG

publicstaticvoidmain(String[]args)throwsException{// 1. 连接 KESConnectionconn=DriverManager.getConnection("jdbc:kingbase8://localhost:54321/test","system","password");// 2. 加载预测结果List<Prediction>preds=loadPredictionsFromKES(conn,"ai_models.loan_scores");// 3. 计算 AUCdoubleauc=computeAUC(preds);System.out.printf("Model AUC: %.4f%n",auc);// 4. 绘制 ROC 曲线List<double[]>rocPoints=computeRocPoints(preds);plotRocCurve(rocPoints,auc,"/tmp/roc_loan_model.png");conn.close();}

输出：

Model AUC: 0.8872 ROC chart saved to: /tmp/roc_loan_model.png

✅ 图中曲线越靠近左上角，模型越强；AUC 越接近 1，区分能力越好。

五、ROC vs PR 曲线：何时用哪个？

💡 在电科金仓客户实践中：

• 信贷审批（违约率 5~10%）→ ROC 足够
• 反洗钱（异常率 <0.1%）→ 必须看 PR 曲线

（PR 曲线我们下期讲）

六、为什么这套方案适合国产化？

1. 纯 Java 实现：无 Python 依赖，适配国产操作系统；
2. KES 原生支持：REAL类型精确存储概率值；
3. 服务端绘图：XChart 无需 GUI，可在麒麟/统信系统运行；
4. 可嵌入流水线：模型训练后自动产出评估报告。

而这套能力，正建立在电科金仓 KES 提供的高可靠、高性能数据底座之上。

📌 KES 是什么？
一款企业级融合数据库，已支撑金融、能源、政务等核心系统。

结语：AUC，是模型能力的“纯净度”指标

在 AI 工程中，我们常被阈值绑架。
但 ROC 和 AUC 告诉我们：真正的模型能力，应该与策略解耦。

当你能在 KES 中存储预测概率，用 Java 自动计算 AUC 并生成 ROC 图表——你就拥有了一个客观、稳定、可自动化的模型评估体系。

因为你知道：好的模型，不该靠调阈值来“救场”；它本身就该足够强。

• 需要适配飞腾/鲲鹏的 JDBC 驱动？立即下载
• 想了解 KES 如何支撑 AI 全生命周期？点击查看产品介绍

—— 一位相信“能力，应该独立于策略存在”的架构师