企业官网建设流程全解析

简介：一份基于Python的机器学习文本情感分析系统的毕业设计文档，面向计算机相关专业的毕业设计、课程设计以及自然语言处理入门人群。系统围绕文本情感分类与识别展开，完整交代开发背景、应用价值、技术选型（Python、Django、MySQL）、可行性分析、结构设计、数据库设计、模块实现和系统测试，便于读者把握整体研发流程。资源包仅有1个docx文件，大小约1.07MB，Word格式便于直接阅读、标注与二次编辑。文档具体呈现登录模块、管理员首页、文本分类界面、文本管理、用户信息管理等核心功能实现，并附有清晰的目录和章节组织，可兼作论文结构安排与写作范本。已有323人浏览学习，对于需要快速参考毕业设计文档与情感分析系统设计方案的人员具有较强实用性。

1. 这个标题到底在做什么：不是爬虫+词库，而是一条可复用的文本情感流水线

“基于python的机器学习文本情感系统设计与实现”听起来像是一个课设或毕设标题，但它背后其实是一个很标准的文本分类工程问题：给定一段中文评论或留言，先清洗文本，再把文字转成向量，最后训练一个分类器去判断情感倾向。很多人第一反应是堆情感词典，或者直接装个现成库跑一下，但机器学习路线的核心价值在于把判断能力交给数据，而不是交给人工规则。按这套方案做出来的系统，可以输入一句“客服态度很好，物流也快”输出正向或负向标签，也能对整批评论做统计。这篇笔记会从数据处理、特征提取、模型训练到接口封装一步步拆开，并专门讲几个容易翻车的坑。适合正在做课设/毕设、需要可演示系统的同学，也适合想快速搭情感分析基线的工程师。

2. 把非结构化文本变成机器学习能吃的形状：数据清洗与中文分词

先说前提：这不是一个靠正则和关键词硬匹配的规则系统，而是一条“数据 → 清洗 → 特征 → 模型 → 评估 → 封装”的机器学习应用流程。所以第一件事不是选模型，而是先把文本变成机器能读的样本。常见做法是用 pandas 读入一张带有文本和标签的表格，表格里每一行是一条评论，标签字段标记这条评论是正向还是负向。如果手头只有打分没有标签，也可以自己定阈值，比如 4 分以上算正向，2 分以下算负向，3 分先丢掉，避免中间情绪干扰训练。

2.1 先定数据来源和标注口径

实际项目里数据来源往往是电商评论、酒店评论、外卖评论这类公开数据集，结构大多是一列评论文本加一列评分或好评/差评标记。先加载数据，看一眼格式和类别分布，尤其要确认正负样本量是不是悬殊，这会影响后面的评估方式。

import pandas as pd df = pd.read_csv("reviews.csv", encoding="utf-8-sig") print(df.head()) print(df["label"].value_counts())

代码里encoding="utf-8-sig"是为了兼容 Excel 导出的 CSV。如果 label 里是“好评”“差评”这种字符串，还需要映射成数值；如果已经是 0/1，就直接用。

label_map = {"好评": 1, "差评": 0, "正": 1, "负": 0} df["label"] = df["label"].map(label_map).astype(int)

这里要注意：标注口径决定模型能学到的边界。二分类系统只分正负，三分类系统还会留一个中性类。如果目标是“判断一段话值不值得推荐”，二分类就够；如果目标是做舆情分析，中性类往往不能省，否则系统会把“还行、一般、凑合”强行归到负向，表现会非常怪。

2.2 清洗规则：去重、去 URL、去空文本

原始文本里全是噪声：重复评论、超链接、网页标签、@用户、多余空白。清洗的目标是让模型把精力放在和情感相关的词上，而不是被这些噪声带偏。我一般会在第一次读取后做一次全局去重，再用一条clean_text函数逐个清洗。

import re df = df.drop_duplicates(subset="text", keep="first") df = df.dropna(subset=["text", "label"]) def clean_text(s: str) -> str: s = re.sub(r"https?://\S+", "", s) s = re.sub(r"<[^>]+>", "", s) s = re.sub(r"@\w+", "", s) s = re.sub(r"\s+", " ", s).strip() return s df["text"] = df["text"].astype(str).map(clean_text) df = df[df["text"].str.len() >= 2]

这里每一行正则都是一个实际会遇到的坑。https?://\S+处理评论里复制的链接，<[^>]+>处理爬虫带下来的 HTML 标签，@\w+处理微博式 @ 用户。最后把长度小于 2 的样本删掉，因为清洗后很容易剩下一个空串或单字，这种样本没有建模价值。注意清洗不是越狠越好，如果把标点全删光，会让“不错，但是贵”这种转折句式变得非常难判断，所以这里只删空白、链接和标签，不做激进缩写。

2.3 中文分词和停用词：为什么直接套英文 CountVectorizer 会翻车

英文文本按空格切词就能拿来做特征，但中文没有空格，必须先分词。如果不做中文分词，直接把整句喂给 TF-IDF，模型会把这些短语当成互不关联的单个字符组合，效果会差很多。常见做法是引入 jieba，再配合一个停用词表，把“的、了、吗、呢”这类无意义词过滤掉。

import jieba stopwords = set() with open("stopwords.txt", "r", encoding="utf-8") as f: for line in f: stopwords.add(line.strip()) def tokenize(text: str) -> list[str]: words = jieba.lcut(text) return [w for w in words if w.strip() and w not in stopwords] text = "这个手机电池续航还不错，但屏幕有点暗。" print(tokenize(text))

输出大致是['这个', '手机', '电池', '续航', '还不错', '屏幕', '有点', '暗']。注意还不错被 jieba 当成一个整体词，这对情感判断是好事。如果分词把“还不错”切成“不错/还/错”，模型很可能会被“错”字带偏，这个坑后面避坑章节会展开说。

停用词表不建议直接抄网上一份就完事。很多通用停用词表会把“好”“不错”“比较”这些带情感倾向的词也删掉，导致模型丢掉关键信息。我会先把停用词表放到项目目录里，跑一轮后把被删掉的高频词拉出来复查，手动恢复那些和情感相关的词。

3. 特征表示与模型选型：TF-IDF 配哪几个分类器最稳

文本清洗和分词做完以后，每条评论还是一串词。机器学习模型吃的是数值向量，所以下一步要把词序列转成稀疏矩阵。这一步最常见的选择是 TF-IDF，而不是简单词频。TF-IDF 的核心逻辑是：一个词在当前评论里出现次数多，同时在所有评论里出现得少，那它就更值得被重视。比如“垃圾”在一条差评里出现，比“这个”在一条好评里出现更有区分度。

3.1 用 TfidfVectorizer 把分词结果变成稀疏矩阵

sklearn 的TfidfVectorizer可以接自定义 tokenizer，直接把刚才的tokenize函数传进去。

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( tokenizer=tokenize, ngram_range=(1, 2), max_features=20000, min_df=2, max_df=0.8, sublinear_tf=True ) X = vectorizer.fit_transform(df["text"]) print(X.shape)

这里的参数不是玄学，每一项都在控制特征空间的形状。tokenizer=tokenize让向量器按 jieba 分词结果生成特征；ngram_range=(1, 2)除了单个词，还会保留相邻两个词的组合，比如“没有/想象中/好”会被捕捉成“没有 想象中”和“想象中 好”，对否定表达很有帮助；max_features=20000防止特征数量爆炸，内存和训练时间都能压住。

有个重要原则：fit_transform只应该作用在训练集上，不能先对全量数据做，再切分训练测试。否则测试集的信息提前进入了特征空间，后面评估出来的分数是虚高的。

3.2 基线模型：朴素贝叶斯和逻辑回归先跑起来

特征矩阵准备好了，接下来就是训练分类器。做文本情感分类，最常用的两个基线是朴素贝叶斯和逻辑回归。朴素贝叶斯假设词与词之间独立，虽然这个假设在语言上并不成立，但在短文本分类上它往往表现很好，而且训练速度非常快。逻辑回归则是一个更平滑的线性分类器，通过 L2 正则防止过拟合，输出概率可以直接用。

from sklearn.model_selection import train_test_split, cross_val_score from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline X_train, X_test, y_train, y_test = train_test_split( df["text"], df["label"], test_size=0.2, random_state=42, stratify=df["label"] ) pipe_nb = make_pipeline( TfidfVectorizer(tokenizer=tokenize, ngram_range=(1, 2), max_features=20000, min_df=2, max_df=0.8, sublinear_tf=True), MultinomialNB() ) pipe_lr = make_pipeline( TfidfVectorizer(tokenizer=tokenize, ngram_range=(1, 2), max_features=20000, min_df=2, max_df=0.8, sublinear_tf=True), LogisticRegression(max_iter=1000) ) for model in [pipe_nb, pipe_lr]: scores = cross_val_score(model, X_train, y_train, cv=5, scoring="f1") print(model.steps[-1][0], scores.mean(), scores.std())

这里把向量器和分类器一起包进 Pipeline，好处是交叉验证时每一折都只拿训练折拟合向量器，不会把验证折的信息漏进去。scoring="f1"是文本情感分类里比准确率更可靠的评估指标，因为正负样本往往不是 50:50。model.steps[-1][0]只是在打印当前模型的最后一个步骤名，帮助区分结果来自哪个模型。

3.3 要不要继续上 SVM 或深度学习

如果我看到线性模型在一份数据集上的 F1 已经到 0.85 以上，一般不会轻易上深度学习。文本情感系统在课程设计和多数真实业务里，数据量可能只有几万条甚至几千条，线性模型已经能把主要规律学到。LinearSVC 和逻辑回归的效果通常很接近，但 LinearSVC 不直接输出概率，逻辑回归更便于解释置信度。

只有当数据量到十万条以上，或者需要处理很复杂的语义，比如反讽、指代、上下文相关情感，才会考虑把模型换成 Bert 这类预训练模型。但预训练模型需要 GPU，训练时间长，调参成本高，对一个“机器学习文本情感系统”的定位来说，用线性模型把基线做好，比直接上深度学习更能体现工程思维。

4. 模型评估与参数调优：别只看准确率，混淆矩阵和 F1 才是真相

很多初学者拿到模型后只看accuracy_score，但情感分类里准确率很容易骗人。假设数据里 80% 是负向，模型全预测负向就能拿到 80% 准确率，可它一条正向都没识别出来。所以评估阶段要同时看精确率、召回率、F1 和混淆矩阵，尤其是正负样本不平衡的时候。

4.1 用分层抽样和交叉验证防止数据分布骗你

train_test_split默认是随机切分，如果正负样本比例本身不均衡，随机切分可能让某一折里的负向特别多。用stratify=df["label"]可以保证训练集和测试集里正负比例大致一致。进一步，还可以用StratifiedKFold做交叉验证，而不是简单地把数据切成五份。

from sklearn.model_selection import StratifiedKFold skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) for train_index, val_index in skf.split(X_train, y_train): pass

注意X_train这里是原始文本 Series，不是已经向量化的矩阵。因为向量化必须在每一折的训练集合内部重新拟合，所以推荐用cross_val_score并传入cv=skf，它会自动在每一折里重新执行整个 Pipeline。

4.2 从混淆矩阵看误分类：负样本压倒性多数时怎么处理

训练完成后，先跑一遍测试集，打印分类报告和混淆矩阵。分类报告里每类的 precision、recall、f1-score 都比一个总准确率有用得多。混淆矩阵则能直接看出模型把哪些样本误判了。

from sklearn.metrics import confusion_matrix, classification_report pipe_lr.fit(X_train, y_train) y_pred = pipe_lr.predict(X_test) print(classification_report(y_test, y_pred, target_names=["neg", "pos"])) print(confusion_matrix(y_test, y_pred))

如果发现正向召回率特别低，比如很多好评被当成差评，常见做法是在逻辑回归里打开class_weight="balanced"，让少数类在损失函数里获得更高权重。还有一种做法是对训练集里的多数类做欠采样，或者对少数类做简单重复采样。欠采样会让训练数据变小，重复采样会带来一定的过拟合风险，所以优先尝试class_weight。

4.3 用 GridSearchCV 调特征参数和模型参数

文本情感系统的调参点其实不超过五个：max_features、min_df、max_df、ngram_range，以及分类器的正则强度。与其手动一个个试，不如用GridSearchCV固定一个小搜索空间。

from sklearn.model_selection import GridSearchCV param_grid = { "tfidfvectorizer__max_features": [5000, 15000, 30000], "tfidfvectorizer__ngram_range": [(1, 1), (1, 2)], "logisticregression__C": [0.1, 1, 10] } grid = GridSearchCV(pipe_lr, param_grid, cv=3, scoring="f1", n_jobs=-1) grid.fit(X_train, y_train) print(grid.best_params_) print(grid.best_score_)

param_grid里的键名要严格按照 Pipeline 步骤名加双下划线拼接。make_pipeline生成的步骤名是自动的小写类名，所以是tfidfvectorizer__和logisticregression__。如果自己手动Pipeline([("tfidf", ...), ("lr", ...)])，则用你起的名字。C是逻辑回归正则强度的倒数，C越小正则越强，很多场景下C=1就是不错的起点。网格搜索很吃算力，建议先用小规模参数组合跑一遍，确定方向后再细化。

5. 避坑指南：中文文本情感系统里常见的四类翻车现场

这一章写的是实际落地时最容易踩的坑，每一条都是我调试时真实遇到过的情况，照着排查能省下不少时间。

5.1 现象：训练集 F1 接近 0.98，测试集只有 0.72

原因：数据泄漏。最常见的是在切分训练集和测试集之前，就对全量文本做了TfidfVectorizer.fit_transform，导致模型在训练时已经见过测试集的特征分布。另一种情况是用全量数据去重后再切分，结果同一条评论可能同时出现在训练集和测试集，模型其实就是背下了答案。

解决：把向量器放进 Pipeline，并且只对训练集fit。如果不用 Pipeline，就自己保证顺序是“先切分，再在训练集上fit_transform，再对测试集只做transform”。用 Pipeline 是最不容易出错的办法，因为它强制每一折都在训练子集上拟合特征。

5.2 现象：一条明显好评被判成差评，分词结果是“还不错”被切成“不错/还/错”

原因：jieba 默认词库不一定覆盖领域词汇，“还不错”这个词组如果没有被整体切开，就会被拆成多个字，其中“错”的情感权重很高，模型看到了就会往负向偏。

解决：用jieba.add_word("还不错")或维护一个自定义词典，把“还不错”“不怎么样”“性价比高”这类常见表达加进去。同时保证ngram_range=(1, 2)，这样即使分词不完美，相邻二元词组也能保留一部分上下文。还要检查停用词表，确认没有把“不错”“好”“值得”这类情感词删掉。

5.3 现象：模型把所有句子都判成负向，甚至训练时 loss 一直没变化

原因：训练样本类别严重不平衡。如果数据里 90% 是差评，模型把一切都预测成差评就能获得很高准确率，但这不是你想要的系统。另一种可能是停用词表里误删了“好”“棒”等核心情感词，让正向样本几乎没有可学习的特征。

解决：先打印训练集标签分布，如果差距很大，在逻辑回归或朴素贝叶斯这类模型上设置class_weight="balanced"，或者对少数类做简单的复制采样。还要重新检查停用词表，把和情感有关的词恢复出来。判断是否修好，不能只看准确率，要看正向类的 recall 是否明显上升。

5.4 现象：CSV 读取后中文全变乱码，或者保存模型后加载报错

原因：pandas 默认保存 CSV 是 utf-8，但 Windows Excel 常常用 GBK 打开，两边来回切换后中文就变成乱码。另一个相关问题是，用joblib.dump保存模型后换了一台机器加载，如果当时没有把 jieba 的自定义词典一起带走，加载的模型在预测时会因为词典不一致导致结果漂移。

解决：读取和保存 CSV 时统一用encoding="utf-8-sig"，写出的文件会带上 BOM，Excel 打开就不乱码。保存模型时把自定义停用词表、自定义分词词典和模型文件放同一个目录，并用相对路径加载。模型文件本身只保存了特征权重，但分词依赖的外部资源不会自动打包进去，这一点必须记住。

5.5 现象：TfidfVectorizer 报错 “'NoneType' object has no attribute 'split'”，或者频繁出现版本警告

原因：没有传tokenizer=tokenize时，TfidfVectorizer 默认按空格切分英文，中文文本没有空格，内部函数可能返回空对象。还有 sklearn 某些版本对参数名和默认值有调整，直接照抄网上旧代码会报警告甚至直接报错。

解决：每次定义 TfidfVectorizer 时都显式传入自己的tokenizer，并且确认tokenize返回的是字符串列表而不是单个字符串。版本问题更简单，项目里固定一个 sklearn 版本，写一个requirements.txt，避免换环境后行为不一致。遇到提示某个参数将被移除时，先看警告文本，再决定是改参数名还是升级环境。

6. 把模型封装成一个可用的情感分析接口：joblib 保存与 Flask 验证

训练完模型只是第一步，系统要能被人用起来，至少得有一个可复用的预测函数。常见做法是把整个 Pipeline 用 joblib 保存，然后提供一个命令行或 HTTP 接口。

6.1 用 joblib 保存模型和向量器

因为前面用的是 Pipeline，向量器和分类器已经打包在一起，保存一个文件就够了。

import joblib joblib.dump(pipe_lr, "sentiment_model.joblib")

加载时也一样简单：

model = joblib.load("sentiment_model.joblib") print(model.predict(["客服态度很好，物流也快"]))

这里有一个容易忽略的点：模型文件依赖tokenize函数和停用词表。只要加载环境的 Python 里定义了同名tokenize函数，sklearn 才能正确还原 TfidfVectorizer 的预处理逻辑。如果换机器跑，务必把停用词表一起带过去。

6.2 用 Flask 暴露一个最小接口

如果要在浏览器里演示，或者给前端页面调用，一个 Flask 接口就够了。

from flask import Flask, request, jsonify app = Flask(__name__) model = joblib.load("sentiment_model.joblib") @app.route("/predict", methods=["POST"]) def predict(): data = request.get_json() text = data.get("text", "") if not text: return jsonify({"error": "text is required"}), 400 label = int(model.predict([text])[0]) prob = model.predict_proba([text])[0].tolist() return jsonify({"label": label, "prob": prob}) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000)

predict_proba只对逻辑回归、朴素贝叶斯这类有概率输出的模型有效，如果你换成 LinearSVC，这里就要改成decision_function。接口本身不复杂，但要注意request.get_json()在 Content-Type 不对时会返回 None，所以要先做空值判断。

6.3 用边界样本当回归测试

最后给自己留一组边界样本，每次改完模型或者换了新数据后重跑一遍。这组样本要包含容易被分错的否定句和转折句。

test_cases = [ ("客服态度很好，物流也快", 1), ("客服态度很差，物流也慢", 0), ("这个产品比想象中好", 1), ("这个产品没有想象中好", 0), ("一般般吧，不会推荐", 0), ] for text, expected in test_cases: pred = int(model.predict([text])[0]) print(text, "->", pred, "expected", expected)

“没有想象中好”这类句子，模型如果只盯着“好”字，很容易判成正向。把这种样本固定下来，比每次人工乱试要可靠得多。我现在做这类项目都会先留一个边界样本文件，每次调参后重跑一遍，不然某次调整把否定词搞挂了都不知道原因。希望帮到你。

本文还有配套的精品资源，点击获取