企业官网建设流程全解析

💕💕作者：计算机源码社
💕💕个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！
💕💕学习资料、程序开发、技术解答、文档报告
💕💕如需要源码，可以扫取文章下方二维码联系咨询

💕💕Java项目
💕💕微信小程序项目
💕💕Android项目
💕💕Python项目
💕💕PHP项目
💕💕ASP.NET项目
💕💕Node.js项目
💕💕大数据项目
💕💕选题推荐

1、研究背景

生成式 AI SaaS 服务在订阅制模式下会产生大量与用户行为和算力消耗相关的数据，这些数据覆盖用户 ID、用户套餐、近 30 天活跃天数、平均会话时长、近 30 天提示词数量、输入 Token 数、输出 Token 数、重新生成率、采纳输出率、点赞数、点踩数、配额使用率和付费墙触发次数等维度。随着用户规模扩大，原始 CSV 数据需要借助 HDFS 进行上传、存储和替换，并通过 Spark 完成分布式清洗与统计分析，单机方式难以满足数据规模、处理效率和结果复现要求。所提供的系统代码已经包含 HDFS 目录重建、SafeMode 检查、文件上传、字段映射、缺失处理、数值规范化、预处理结果写出、套餐占比分析、活跃天数分布、会话时长分层、提示词量对比、输入输出 Token 分析、重新生成率分布、采纳率与反馈对比、配额使用分层、付费墙触发分析、K-Means 用户分群、FP-Growth 行为关联规则和 Isolation Forest 异常算力识别，并进一步使用 XGBoost 对用户付费升级倾向进行训练与评估。由此形成面向生成式 AI SaaS 用户行为与算力消耗的大数据分析与机器学习建模背景。

2、研究目的和意义

本系统的开发目的是构建一套从数据上传、预处理、分布式统计、行为挖掘到分类预测与模型评估的完整流程，为生成式 AI SaaS 运营提供可复现的数据分析依据。系统通过 GenAISaasAnalytics.py 将本地 ai_saas_user_behavior.csv 上传至 HDFS，检查 Hadoop SafeMode，删除并重建项目目录，读取 gb18030 编码原始数据，完成字段英文名映射、套餐中文枚举转换、空值处理、数值两位小数保留和整数字段填充，输出 AiSaasBehavior_preprocessed_data.csv 到本地和 HDFS。随后利用 Spark 对套餐用户占比、活跃天数分箱、平均与中位会话时长、提示词总量与人均、输入 Token 排行、输出 Token 构成、输入输出 Token 比率、重新生成率分布、采纳输出率、点赞点踩反馈、配额使用分层和付费墙触发进行统计分析，并通过 K-Means、FP-Growth 和 Isolation Forest 识别用户分群、行为关联和异常算力用户。XGBoost 脚本进一步派生 is_paid 标签，使用 11 个数值特征训练分类模型，输出准确率、F1、混淆矩阵、ROC AUC、PR AUC、MCC 和特征重要性，从而支持付费升级倾向预测与运营决策。

本系统的开发意义在于把生成式 AI SaaS 用户行为数据与算力消耗数据转化为可解释、可复用的分析结果和预测模型，提升运营决策的科学性与效率。通过 HDFS 与 Spark 的结合，系统能够统一管理原始数据、预处理数据和输出分析文件，降低人工清洗与重复统计成本，保证字段口径、套餐映射、数值精度和统计逻辑一致。套餐用户占比、活跃天数分布、会话时长分层、提示词量、输入输出 Token、重新生成率、采纳率、反馈、配额使用和付费墙触发等分析，有助于识别不同套餐用户的使用特征与压力水平，发现高活跃、高消耗、高采纳或高触顶群体。K-Means 聚类能够形成低活跃到超高活跃的用户画像，FP-Growth 关联规则能够揭示套餐、活跃、配额、再生、采纳和付费墙之间的组合模式，Isolation Forest 异常汇总能够辅助发现异常算力使用。XGBoost 训练与评估则把用户付费升级倾向转化为可量化的分类任务，为套餐设计、配额管理、付费墙策略、算力调度和精细化运营提供模型支撑，并为可视化展示提供结构化 CSV 与 JSON 结果。

3、系统研究内容

本系统面向生成式 AI SaaS 用户行为与算力消耗数据，提供从数据接入、预处理、分布式统计、行为挖掘到付费升级预测与结果输出的完整功能。数据接入功能完成本地数据向 HDFS 的上传，检查 Hadoop SafeMode 状态，删除并重建项目存储目录，保证原始数据、预处理数据和分析结果按统一路径管理。
数据预处理功能对原始数据中的中文字段进行英文映射，把套餐枚举转换为中文展示值，识别并归类空值与空串，对浮点字段统一保留两位小数，对整型字段完成数值转换与填充，形成结构统一、口径一致的预处理数据并同步至 HDFS。
分布式统计分析功能基于 Spark，从套餐维度、活跃维度、会话维度、提示词维度、Token 维度、重新生成维度、采纳维度、反馈维度、配额维度和付费墙维度出发，完成用户规模占比、活跃天数分箱、平均与中位会话时长、提示词总量与人均、输入 Token 排行、输出 Token 构成占比、输入输出 Token 比率、重新生成率分箱、采纳输出率对比、点赞点踩均值与赞踩比、配额使用率分层和付费墙触发总量与人均等计算，并把结果写成结构化分析文件。
行为挖掘功能采用聚类算法对多维行为特征进行标准化与分群，形成低活跃到超高活跃的用户画像，采用关联规则算法对套餐、活跃、配额、再生、采纳和付费墙等离散项组合进行频繁项集与规则挖掘，采用异常检测算法对输入 Token、输出 Token、提示词数量、配额使用率和重新生成率等算力相关特征进行异常用户识别，并输出异常与正常的汇总对比。
付费升级预测功能从订阅层级派生付费标签，选取活跃天数、平均会话时长、提示词数量、输入输出 Token、重新生成率、采纳输出率、点赞数、点踩数、配额使用率和付费墙触发次数等数值特征，完成缺失填充与标准化，按分层比例划分训练集与测试集，开展多估计器交叉验证竞赛，使用固定超参、单调约束、类别权重和概率校准训练 XGBoost 分类模型，执行重复分层交叉验证与全量重训，在独立测试集上计算准确率、精确率、召回率、F1、MCC、混淆矩阵、ROC AUC、PR AUC 和特征重要性。结果输出功能保存模型文件、特征名映射、模型元信息、holdout 快照和评估报告，并输出各类结构化 CSV 分析结果，为可视化展示和付费升级倾向应用提供数据与模型支撑。

4、系统页面设计

如需要源码，可以扫取文章下方二维码联系咨询

5、参考文献

[1]江阳. 基于数据挖掘的电商用户行为分析[J].数字技术与应用,2026,44(8):105-107.
[2]邱星潼,李雨大川. 基于大数据分析的用户收视行为特征提取技术研究[J/OL].智能物联技术,1-7[2026-09-17].https://link.cnki.net/urlid/33.1411.TP.20260817.1538.022.
[3]邱星潼,李雨大川. 基于大数据分析的用户收视行为特征提取技术研究[J].智能物联技术,2026,58(8):65-68.DOI:10.26921/j.cnki.2096-6059.2026.08.012.
[4]左丙发,宋泓烨. 基于车联网数据分析用户驾驶行为对车辆油耗的影响[J].汽车维修与保养,2026,(7):49-50.DOI:10.13825/j.cnki.motorchina.2026.07.054.
[5]杨红森. 无线网络驱动的照明系统中用户行为分析与数据挖掘[J].中国照明电器,2026,(5):142-145.
[6]刘恒,陆阳.基于大数据分析的配网停电预判与用户用电行为研究[C]//《中国招标》期刊有限公司.新质生产力驱动第二产业发展与招标采购创新论坛——实践路径探索与案例分享专题论文集（第二册）.2026:1277-1281.DOI:10.26914/c.cnkihy.2026.009034.
[7]段林博,王开鹏,武萌,等. 基于用户访问行为的数据冷热特性分析与存储动态调度模型研究[J].信息化研究,2026,52(2):7-13.
[8]张巍. 基于大数据分析与AI的用户行为预测策略研究[J].电脑知识与技术,2026,22(6):61-63.DOI:10.14004/j.cnki.ckt.2026.0195.
[9]杜昭. 探究大数据分析下的电力用户用电行为特征识别[J].中国科技投资,2026,(6):26-28.
[10]雷莹歌. 算法推荐场域中动漫IP的“标签化”传播困境与破局——基于B站国创动画用户行为数据的分析[J].浙江工艺美术,2026,(3):73-75.
[11]陈振强. 大数据技术在电子商务用户行为分析中的应用[J].大众投资指南,2026,(4):67-69.
[12]张安琪,石勇. 基于大数据的无线通信用户行为与精准传播策略分析[J].信息记录材料,2026,27(3):102-104.DOI:10.16009/j.issn.1009-5624.2026.03.033.
[13]王秋爽. 智能家具用户行为数据分析与设计优化[J].居舍,2026,(2):24-26.
[14]王俊文. 大数据时代下用户行为数据分析与个性化推荐系统构建[J].信息系统工程,2025,(12):92-95.
[15]沈丹. 通信行业用户行为的动态预测大数据分析框架的构建与应用[J].长江信息通信,2025,38(12):231-234.DOI:10.20153/j.issn.2096-9759.2025.12.064.
[16]武雅铮,徐少博. 大数据技术在网络信息挖掘与用户行为分析中的应用[J].数字技术与应用,2025,43(11):112-114.
[17]周燕. 基于Spark的电商用户行为大数据分析与精准推荐系统研究[J].互联网周刊,2025,(22):88-90.
[18]武灵耀. 基于大数据挖掘的电力用户用电行为模式分析[J].集成电路应用,2025,42(11):570-571.DOI:10.19339/j.issn.1674-2583.2025.11.249.
[19]郑朝芳. 基于大数据分析与用户用电行为模式的用户画像构建[J].办公自动化,2025,30(21):80-82.
[20]杨宝迪,贾百奎.大数据技术在电商用户行为分析中的实践研究[C]//中国高校校办产业协会终身学习专业委员会.第七届教育信息技术创新与发展学术研讨会论文集（下）.2025:655-658.DOI:10.26914/c.cnkihy.2025.097409.

6、核心代码

defcompute_classification_metrics(model,X_test,y_test,X_train,y_train):y_train_pred=model.predict(X_train)y_test_pred=model.predict(X_test)...ifhasattr(model,"predict_proba"):proba=model.predict_proba(X_test)[:,1]metrics["roc_auc"]=round(float(roc_auc_score(y_test,proba)),2)metrics["pr_auc"]=round(float(average_precision_score(y_test,proba)),2)importjoblibimportpandasas pd from pathlibimportPathMODEL_DIR=Path("merge_run_output/model_artifacts")model=joblib.load(MODEL_DIR/"model.joblib")# 读取或构造待预测数据，列顺序必须与 feature_names 一致X_new=...y_pred=model.predict(X_new)y_proba=model.predict_proba(X_new)[:,1]defload_model_and_data():model=joblib.load(MODEL_DIR/"model.joblib")withopen(MODEL_DIR/"model_meta.json","r",encoding="utf-8")as f:model_meta=json.load(f)cleaned=MODELS_DIR/"cleaned_train_data.csv"cleaned_test=MODELS_DIR/"cleaned_test_data.csv"train=pd.read_csv(cleanedifcleaned.exists()elseSPLIT_DATA_DIR/"train.csv",encoding="utf-8",)test=pd.read_csv(cleaned_testifcleaned_test.exists()elseSPLIT_DATA_DIR/"test.csv",encoding="utf-8",)X_train=train.drop(columns=[TARGET])y_train=train[TARGET].astype(int)X_test=test.drop(columns=[TARGET])y_test=test[TARGET].astype(int)returnmodel,model_meta,X_train,y_train,X_test,y_test

💕
💕作者：计算机源码社
💕💕个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！
💕💕学习资料、程序开发、技术解答、文档报告
💕💕如需要源码，可以扫取文章下方二维码联系咨询