企业官网建设流程全解析

这类项目最值得先看的不是功能列表，而是能不能把“新闻采集、舆情分析、可视化展示”这一整套流程，在一个像 Django 这样的 Web 框架里稳定地跑起来。很多同学做毕设或者想入门数据分析项目，一上来就纠结算法多高级、图表多炫酷，结果卡在数据怎么来、怎么存、怎么定时更新、怎么在前端展示这些基础环节上。

这个“Python新闻舆情热点分析可视化”项目，核心价值在于它提供了一个从数据源到可视化看板的完整工程化示例。它适合两类人：一是需要完成一个综合性、有展示度的计算机毕业设计的同学；二是想通过一个具体项目，学习如何将 Python 数据分析、Django Web 开发和前端可视化技术串联起来的开发者。最关键的能力不是某个单一的算法，而是用 Django 搭建一个能自动运行数据管道（采集、处理、分析）并动态展示结果的应用系统。

下面，我会像一个刚做完类似项目部署和调试的人一样，带你拆解整个流程。重点不是复现某一行代码，而是告诉你每个环节最容易在哪里出问题，以及如何判断你的系统是否真的在“工作”。

1. 先理清项目架构：它到底要做什么，由哪些部分组成

在动手写代码或找源码之前，必须先明确这个项目的边界和组成部分。一个典型的“新闻舆情热点分析可视化”系统，通常包含以下四个核心模块，缺一不可：

1.1 数据采集层：新闻和评论从哪里来

这是项目的起点，也是最容易出问题的地方。你不能假设数据会自己出现。

• 来源：通常来自新闻网站、社交媒体 API（需合规使用）、公开数据集，或通过 Python 爬虫（如requests、BeautifulSoup、Scrapy）抓取。特别注意：必须严格遵守目标网站的robots.txt协议，控制请求频率，避免对目标服务器造成压力。毕设中强烈建议使用公开数据集或模拟数据来演示流程。
• 关键点：采集到的原始数据是结构化的（标题、正文、发布时间、来源、评论数、评论内容）还是非结构化的？这决定了后续存储和处理的复杂度。

1.2 数据存储与处理层：数据怎么存、怎么洗

原始数据不能直接用于分析，需要清洗和结构化。

• 存储：Django 自带的 SQLite 适合开发和演示，但数据量大或需要复杂查询时，应切换到PostgreSQL或MySQL。Django 的 ORM 让你可以用 Python 代码操作数据库，这是它的核心优势之一。
• 处理：使用pandas进行数据清洗（去重、处理缺失值、格式标准化）。例如，将发布时间统一为 datetime 对象，对评论文本进行分词（使用jieba）和去除停用词。
• 调度：数据采集和清洗不是一次性的。你需要一个定时任务（如 Django 的django-crontab扩展或celery）来定期执行这些脚本，确保数据是“活”的。

1.3 数据分析与挖掘层：如何从数据中提炼“热点”和“舆情”

这是体现“分析”和“挖掘”的部分，也是项目的技术核心。

• 热点分析：通常指发现一段时间内被频繁报道或讨论的主题。
  • 方法：对新闻标题和正文进行文本聚类（如使用sklearn的 K-Means 或 DBSCAN 算法）或主题模型（如 LDA）。关键不是算法本身多深奥，而是特征工程——如何将文本转化为算法能理解的数值向量（TF-IDF、Word2Vec）。
• 情感分析（舆情分析）：判断评论或新闻的情感倾向（正面、负面、中性）。
  • 方法：可以使用预训练的情感词典进行匹配打分，或者使用机器学习模型（如基于snowNLP或训练一个简单的文本分类模型）。对于毕设，使用成熟的第三方库（如snownlp）快速得出情感极性分数是更务实的选择。
• 实体识别：识别新闻中的人名、地名、机构名等，有助于更细粒度的分析。
  • 方法：可以使用hanlp、paddleNLP等工具库。

1.4 可视化展示层：如何让结果一目了然

分析结果需要通过 Django 的视图和模板，在前端以图表形式展示。

• 后端传递数据：Django 的视图函数（View）负责执行分析逻辑，将处理好的数据（如热点词列表、情感分布、时间趋势）通过上下文（context）传递给模板。
• 前端图表渲染：这是“可视化”的直接体现。强烈推荐使用ECharts或Apache ECharts，它功能强大、文档丰富，并且与 Django 集成简单。你只需要在模板中引入 ECharts，然后将 Django 传递过来的数据格式化成 ECharts 所需的 JSON 格式即可。
• 看板布局：一个典型的舆情看板可能包含：
  1. 热点词云图。
  2. 新闻数量/情感趋势时间折线图。
  3. 情感倾向分布饼图或柱状图。
  4. 热门新闻列表（按热度排序）。
  5. 原文及评论情感分析详情页。

理清了这四个层，你就知道这个项目不是写一个脚本，而是搭建一个小型的数据系统。接下来，我们看如何让这个系统在你的电脑上跑起来。

2. 环境搭建与项目初始化：避开第一个“坑”

很多问题源于环境配置不对。我们按顺序来。

2.1 Python 与虚拟环境

• Python 版本：建议使用 Python 3.8 或 3.9。这是大多数数据科学库（如pandas,numpy,scikit-learn）稳定兼容的版本。不要追求最新版。
• 虚拟环境：这是必须的。它为你的项目创建一个独立的 Python 环境，避免包冲突。

  # 创建虚拟环境 python -m venv venv # 激活虚拟环境 (Windows) venv\Scripts\activate # 激活虚拟环境 (macOS/Linux) source venv/bin/activate

  激活后，命令行提示符前会出现(venv)标识。

2.2 安装核心依赖包

在虚拟环境激活状态下，使用pip安装。创建一个requirements.txt文件是好习惯。

Django==4.2 # Web框架核心 pandas==2.0.3 # 数据处理 numpy==1.24.3 # 数值计算 scikit-learn==1.3.0 # 机器学习算法 jieba==0.42.1 # 中文分词 snownlp==0.12.3 # 中文情感分析（简易版） requests==2.31.0 # 网络请求 beautifulsoup4==4.12.2 # HTML解析（如果需爬虫） celery==5.3.4 # 异步任务队列（用于定时任务） redis==4.6.0 # Celery 的消息代理（可选，也可用RabbitMQ） django-crispy-forms==2.0 # 美化表单（如果需要）

使用命令安装：pip install -r requirements.txt。

注意：不要一次性安装所有包。先装 Django 和 pandas，确保基础环境没问题，再根据项目进度逐步添加。遇到安装错误，优先检查网络、Python 版本和操作系统位数（32/64位）。

2.3 初始化 Django 项目与应用

# 创建Django项目，假设项目名为 `news_analysis` django-admin startproject news_analysis . # 注意最后的点`.`，表示在当前目录创建 # 进入项目目录，创建一个核心应用，比如叫 `dashboard` cd news_analysis python manage.py startapp dashboard

• 项目 vs 应用：news_analysis是项目容器，包含全局配置（settings.py,urls.py）。dashboard是一个应用，负责舆情分析的具体业务逻辑（模型、视图、模板）。一个项目可以包含多个应用。
• 注册应用：必须在news_analysis/settings.py的INSTALLED_APPS列表中加入'dashboard'。

2.4 数据库配置与迁移

Django 默认使用 SQLite。对于毕设或初期开发，这完全足够。在settings.py中确认DATABASES配置。 然后，创建数据库表：

python manage.py makemigrations dashboard python manage.py migrate

这会将 Django 内置的认证、会话等模型以及你后续在dashboard/models.py中定义的模型同步到数据库。

环境搭好，项目骨架建立，接下来就是填充血肉——定义数据模型。

3. 设计数据模型：如何合理地存储新闻和舆情数据

数据模型是项目的基石，设计得好，后续处理会事半功倍。

在dashboard/models.py中，你至少需要定义两个核心模型：

from django.db import models class NewsArticle(models.Model): """新闻文章模型""" title = models.CharField(max_length=500, verbose_name='标题') content = models.TextField(verbose_name='正文内容') source = models.CharField(max_length=100, verbose_name='来源') publish_time = models.DateTimeField(verbose_name='发布时间') url = models.URLField(max_length=500, unique=True, verbose_name='原文链接') # 唯一，避免重复 crawl_time = models.DateTimeField(auto_now_add=True, verbose_name='采集时间') # 分析后的衍生字段 keywords = models.TextField(blank=True, verbose_name='关键词（JSON格式）') # 存储分词或关键词列表 category = models.CharField(max_length=50, blank=True, verbose_name='分类') # 热度指标（可根据评论数、发布时间等计算） heat_score = models.FloatField(default=0.0, verbose_name='热度分数') class Meta: ordering = ['-publish_time'] # 默认按发布时间倒序排列 verbose_name = '新闻文章' verbose_name_plural = verbose_name def __str__(self): return self.title[:50] # 管理后台显示标题前50字符 class Comment(models.Model): """新闻评论模型""" news = models.ForeignKey(NewsArticle, on_delete=models.CASCADE, related_name='comments', verbose_name='所属新闻') content = models.TextField(verbose_name='评论内容') user = models.CharField(max_length=100, blank=True, verbose_name='用户') comment_time = models.DateTimeField(null=True, blank=True, verbose_name='评论时间') crawl_time = models.DateTimeField(auto_now_add=True, verbose_name='采集时间') # 情感分析结果 sentiment_score = models.FloatField(default=0.0, verbose_name='情感分数') # 例如，-1到1，负为负面 sentiment_label = models.CharField(max_length=10, choices=(('positive','正面'), ('neutral','中性'), ('negative','负面')), default='neutral', verbose_name='情感标签') class Meta: ordering = ['-comment_time'] if Comment.comment_time else ['-crawl_time'] verbose_name = '评论' verbose_name_plural = verbose_name def __str__(self): return f"{self.news.title} - {self.content[:30]}"

设计要点解析：

1. unique=True：NewsArticle.url设为唯一，这是防止数据重复入库的最有效约束。
2. 外键关联：Comment.news通过外键关联到NewsArticle，related_name='comments'允许我们通过article.comments.all()获取某篇文章的所有评论。
3. 分析字段分离：keywords,heat_score,sentiment_score这些是分析后的结果，与原始数据分开存储。这样即使分析算法调整，原始数据也不受影响。
4. auto_now_add：自动记录创建时间，用于追踪数据入库顺序。
5. ordering：指定默认排序，让查询结果更符合业务逻辑。

定义好模型后，再次运行makemigrations和migrate命令，在数据库中创建对应的表。

有了数据容器，下一步就是编写脚本，把数据灌进去。

4. 实现数据管道：采集、清洗、分析的自动化脚本

数据管道是项目的“发动机”。它应该能独立于 Web 服务运行。我建议在应用目录下创建一个management/commands目录，使用 Django 的自定义命令来封装这些脚本，这样可以直接通过python manage.py your_command调用，并能方便地使用 Django 的配置和模型。

4.1 数据采集命令

在dashboard/management/commands/目录下创建crawl_news.py。

# dashboard/management/commands/crawl_news.py import requests from bs4 import BeautifulSoup from django.core.management.base import BaseCommand from django.utils import timezone from dashboard.models import NewsArticle import time import random class Command(BaseCommand): help = '从目标网站采集新闻数据' def add_arguments(self, parser): parser.add_argument('--pages', type=int, default=3, help='要爬取的页数') def handle(self, *args, **options): pages_to_crawl = options['pages'] base_url = "https://example-news-site.com/page/{}" # 替换为你的目标URL，务必合规！ for page in range(1, pages_to_crawl + 1): self.stdout.write(f'正在爬取第 {page} 页...') try: # 1. 发送请求（务必添加headers，模拟浏览器，并设置合理延迟） headers = {'User-Agent': 'Mozilla/5.0 ...'} response = requests.get(base_url.format(page), headers=headers, timeout=10) response.raise_for_status() # 检查HTTP错误 soup = BeautifulSoup(response.content, 'html.parser') # 2. 解析页面，提取新闻列表（这里需要根据实际网站结构编写） news_list = soup.select('.news-item') # 假设的CSS选择器 for item in news_list: title = item.select_one('h2 a').text.strip() link = item.select_one('h2 a')['href'] # 避免重复采集 if NewsArticle.objects.filter(url=link).exists(): self.stdout.write(f'文章已存在: {title}') continue # 3. 进入详情页抓取正文、时间等 # ... 这里需要编写详情页解析逻辑 ... # article_response = requests.get(link, headers=headers) # article_soup = BeautifulSoup(article_response.content, 'html.parser') # content = article_soup.select_one('.article-content').text.strip() # publish_time_str = article_soup.select_one('.publish-time').text.strip() # publish_time = timezone.make_aware(datetime.strptime(publish_time_str, '%Y-%m-%d %H:%M:%S')) # 4. 保存到数据库（示例用假数据） article = NewsArticle.objects.create( title=f"示例新闻标题 {timezone.now()}", content="这里是新闻正文内容...", source="示例网站", publish_time=timezone.now(), url=f"http://example.com/{page}/{random.randint(1000,9999)}", heat_score=random.uniform(0, 100) ) self.stdout.write(self.style.SUCCESS(f'成功保存: {article.title}')) # 5. 礼貌延迟，避免被封 time.sleep(random.uniform(1, 3)) except requests.RequestException as e: self.stderr.write(f'网络请求出错第 {page} 页: {e}') except Exception as e: self.stderr.write(f'解析第 {page} 页时发生未知错误: {e}') self.stdout.write(self.style.SUCCESS('新闻采集任务完成！'))

关键提醒：

• 合规性：此代码仅为示例。实际应用中，你必须确认目标网站允许爬取，并遵守其robots.txt。对于毕设，强烈建议使用公开数据集（如中文新闻分类数据集）或自己构造模拟数据，以避免法律和伦理风险。
• 健壮性：必须包含异常处理（try...except）、请求超时设置、状态码检查。
• 去重：利用数据库唯一约束或查询exists()避免重复数据。
• 延迟：time.sleep()是必须的，这是对目标网站的基本尊重。

4.2 数据分析与挖掘命令

创建另一个命令analyze_sentiment.py，用于批处理情感分析。

# dashboard/management/commands/analyze_sentiment.py from django.core.management.base import BaseCommand from dashboard.models import Comment from snownlp import SnowNLP import logging logger = logging.getLogger(__name__) class Command(BaseCommand): help = '对未分析情感的评论进行情感分析' def handle(self, *args, **options): # 获取所有尚未分析情感标签的评论（或者全部重新分析） # 这里假设我们分析 sentiment_label 为默认值 ‘neutral’ 的评论 comments_to_analyze = Comment.objects.filter(sentiment_label='neutral')[:100] # 限制批次大小 self.stdout.write(f'开始分析 {comments_to_analyze.count()} 条评论的情感...') updated_count = 0 for comment in comments_to_analyze: try: text = comment.content if not text or len(text.strip()) < 2: # 过滤无效文本 comment.sentiment_label = 'neutral' comment.sentiment_score = 0.0 else: s = SnowNLP(text) sentiment_score = s.sentiments # 得到0-1之间的分数，越接近1越正面 # 根据分数打标签（阈值可根据业务调整） if sentiment_score > 0.6: label = 'positive' elif sentiment_score < 0.4: label = 'negative' else: label = 'neutral' comment.sentiment_score = sentiment_score comment.sentiment_label = label comment.save() updated_count += 1 except Exception as e: logger.error(f"分析评论ID {comment.id} 时出错: {e}", exc_info=True) # 可以选择跳过或标记为错误 self.stdout.write(self.style.SUCCESS(f'情感分析完成！共更新 {updated_count} 条评论。'))

关键提醒：

• SnowNLP：这是一个简单易用的中文情感分析库，但准确率有限，适合演示和轻度使用。对于生产环境或高精度要求，需要考虑更复杂的模型或商用API。
• 批量处理：使用[:100]进行分批次处理，避免一次性加载过多数据导致内存溢出。
• 异常处理与日志：分析过程可能因文本格式异常而失败，必须捕获异常并记录日志，避免整个任务崩溃。
• 阈值设定：情感分数到标签的映射阈值（0.6, 0.4）不是绝对的，需要根据你的数据分布进行调整。可以通过抽样检查来校准。

4.3 热点发现命令

热点发现更复杂，通常需要定期（如每天）对一批新闻进行聚类。这里给出一个简化的基于 TF-IDF 和 K-Means 的示例思路。

# dashboard/management/commands/detect_hot_topics.py from django.core.management.base import BaseCommand from django.utils import timezone from datetime import timedelta from dashboard.models import NewsArticle from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans import jieba import json class Command(BaseCommand): help = '检测近期新闻的热点主题' def handle(self, *args, **options): # 1. 获取近期新闻（例如过去24小时） start_time = timezone.now() - timedelta(hours=24) recent_news = NewsArticle.objects.filter(publish_time__gte=start_time) if recent_news.count() < 5: # 新闻太少无法有效聚类 self.stdout.write('近期新闻数量不足，跳过热点检测。') return texts = [news.title + ' ' + news.content[:200] for news in recent_news] # 使用标题和正文前200字 # 2. 中文分词 def chinese_tokenizer(text): return list(jieba.cut(text)) # 3. 构建 TF-IDF 向量 vectorizer = TfidfVectorizer(tokenizer=chinese_tokenizer, max_features=1000, stop_words=['的', '了', '在', '是', '我']) X = vectorizer.fit_transform(texts) # 4. 聚类（假设聚成3类） n_clusters = min(3, len(texts)) kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10) clusters = kmeans.fit_predict(X) # 5. 提取每个簇的关键词（TF-IDF值高的词） terms = vectorizer.get_feature_names_out() order_centroids = kmeans.cluster_centers_.argsort()[:, ::-1] # 对簇中心按权重降序排序 topics = [] for i in range(n_clusters): top_terms = [terms[ind] for ind in order_centroids[i, :5]] # 取每个簇前5个词 topic_desc = '、'.join(top_terms) topics.append({ 'cluster_id': i, 'keywords': top_terms, 'description': f'热点主题{i+1}: {topic_desc}', 'news_count': (clusters == i).sum() }) self.stdout.write(f"主题{i}: {topic_desc} (包含 {(clusters == i).sum()} 条新闻)") # 6. （可选）将热点信息存储到数据库或缓存（如Redis），供前端展示 # 例如，可以创建一个 HotTopic 模型，或者将结果以JSON格式存入缓存 # from django.core.cache import cache # cache.set('hot_topics', json.dumps(topics, ensure_ascii=False), timeout=3600) self.stdout.write(self.style.SUCCESS('热点主题检测完成！'))

关键提醒：

• 数据量：聚类算法需要一定数量的数据才能有意义。新闻太少时，结果可能不稳定。
• 特征工程：这里仅使用了标题和正文开头，实际中可以尝试不同的文本组合、加入权重等。
• 停用词：必须添加中文停用词列表，过滤掉“的”、“了”等无意义高频词。
• 性能：TfidfVectorizer和KMeans对于几千条新闻是可行的。如果数据量极大，需要考虑增量学习或采样。
• 结果存储：聚类结果通常是临时的（每日热点），更适合存入缓存（如 Redis）或单独的统计表，而不是直接修改原始NewsArticle记录。

有了数据管道，我们就有了“原料”。下一步是搭建“橱窗”——用 Django 视图和模板，把分析结果漂亮地展示出来。

5. 构建可视化看板：Django 视图与 ECharts 的集成

这是用户直接看到的部分，目标是清晰、直观。

5.1 准备视图数据

在dashboard/views.py中，创建核心的看板视图。

# dashboard/views.py from django.shortcuts import render from django.db.models import Count, Avg, Q from django.utils import timezone from datetime import timedelta from .models import NewsArticle, Comment import json def dashboard(request): """舆情分析主看板""" # 1. 获取近期数据（例如过去7天） seven_days_ago = timezone.now() - timedelta(days=7) # 新闻数量趋势（按天分组） from django.db.models.functions import TruncDate news_trend = NewsArticle.objects.filter(publish_time__gte=seven_days_ago)\ .annotate(date=TruncDate('publish_time'))\ .values('date')\ .annotate(count=Count('id'))\ .order_by('date') news_dates = [item['date'].strftime('%m-%d') for item in news_trend] news_counts = [item['count'] for item in news_trend] # 情感分布（基于评论） sentiment_dist = Comment.objects.values('sentiment_label')\ .annotate(count=Count('id')) # 转换为ECharts饼图所需格式 sentiment_data_for_pie = [{'name': item['sentiment_label'], 'value': item['count']} for item in sentiment_dist] # 热点新闻列表（按热度分数排序） hot_news = NewsArticle.objects.all().order_by('-heat_score')[:10] # 2. 将数据传递给模板 context = { 'news_dates': json.dumps(news_dates, ensure_ascii=False), 'news_counts': json.dumps(news_counts), 'sentiment_data': json.dumps(sentiment_data_for_pie, ensure_ascii=False), 'hot_news': hot_news, # 可以传递更多数据，如热点词列表（从缓存或模型获取） # 'hot_topics': cache.get('hot_topics') or [], } return render(request, 'dashboard/dashboard.html', context)

5.2 设计前端模板与 ECharts 集成

在dashboard/templates/dashboard/目录下创建dashboard.html。

<!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>新闻舆情分析看板</title> <!-- 引入 ECharts --> <script src="https://cdn.jsdelivr.net/npm/echarts@5.4.3/dist/echarts.min.js"></script> <!-- 引入 Bootstrap 快速美化 --> <link href="https://cdn.jsdelivr.net/npm/bootstrap@5.1.3/dist/css/bootstrap.min.css" rel="stylesheet"> </head> <body> <div class="container-fluid mt-3"> <h1 class="text-center mb-4">新闻舆情热点分析看板</h1> <div class="row"> <!-- 新闻数量趋势图 --> <div class="col-md-8"> <div class="card"> <div class="card-header">近期新闻数量趋势</div> <div class="card-body"> <div id="trendChart" style="width: 100%; height: 400px;"></div> </div> </div> </div> <!-- 情感分布饼图 --> <div class="col-md-4"> <div class="card"> <div class="card-header">评论情感分布</div> <div class="card-body"> <div id="sentimentChart" style="width: 100%; height: 400px;"></div> </div> </div> </div> </div> <div class="row mt-4"> <!-- 热点新闻列表 --> <div class="col-12"> <div class="card"> <div class="card-header">热点新闻排行</div> <div class="card-body"> <table class="table table-striped"> <thead> <tr> <th scope="col">排名</th> <th scope="col">标题</th> <th scope="col">来源</th> <th scope="col">发布时间</th> <th scope="col">热度分数</th> </tr> </thead> <tbody> {% for news in hot_news %} <tr> <th scope="row">{{ forloop.counter }}</th> <td><a href="{{ news.url }}" target="_blank">{{ news.title|truncatechars:50 }}</a></td> <td>{{ news.source }}</td> <td>{{ news.publish_time|date:"Y-m-d H:i" }}</td> <td>{{ news.heat_score|floatformat:2 }}</td> </tr> {% empty %} <tr><td colspan="5" class="text-center">暂无热点新闻数据</td></tr> {% endfor %} </tbody> </table> </div> </div> </div> </div> </div> <script> // 新闻趋势折线图 var trendChart = echarts.init(document.getElementById('trendChart')); var trendOption = { tooltip: { trigger: 'axis' }, xAxis: { type: 'category', data: {{ news_dates|safe }} }, yAxis: { type: 'value' }, series: [{ data: {{ news_counts|safe }}, type: 'line', smooth: true, areaStyle: {} }] }; trendChart.setOption(trendOption); // 情感分布饼图 var sentimentChart = echarts.init(document.getElementById('sentimentChart')); var sentimentOption = { tooltip: { trigger: 'item' }, legend: { orient: 'vertical', left: 'left' }, series: [{ type: 'pie', radius: '50%', data: {{ sentiment_data|safe }}, emphasis: { itemStyle: { shadowBlur: 10, shadowOffsetX: 0, shadowColor: 'rgba(0, 0, 0, 0.5)' } } }] }; sentimentChart.setOption(sentimentOption); // 窗口大小变化时重绘图表 window.addEventListener('resize', function() { trendChart.resize(); sentimentChart.resize(); }); </script> <script src="https://cdn.jsdelivr.net/npm/bootstrap@5.1.3/dist/js/bootstrap.bundle.min.js"></script> </body> </html>

关键提醒：

• 数据传递：Django 模板变量（如{{ news_dates }}）在 JavaScript 中使用时，通过|safe过滤器避免转义，因为数据已经是 JSON 字符串。
• ECharts 初始化：确保 DOM 容器（trendChart,sentimentChart）有明确的宽度和高度。
• 响应式：通过监听resize事件，使图表能适应浏览器窗口变化。
• Bootstrap：这里引入 Bootstrap 是为了快速获得一个整洁的布局和样式，你可以根据喜好替换成其他 CSS 框架或自己编写样式。

5.3 配置 URL 路由

最后，在dashboard/urls.py和项目主urls.py中配置路由，让视图可以被访问。

# dashboard/urls.py from django.urls import path from . import views urlpatterns = [ path('', views.dashboard, name='dashboard'), ]

# news_analysis/urls.py (项目主urls.py) from django.contrib import admin from django.urls import path, include urlpatterns = [ path('admin/', admin.site.urls), path('', include('dashboard.urls')), # 将dashboard应用的url包含进来 ]

现在，运行python manage.py runserver，访问http://127.0.0.1:8000，你应该能看到一个包含图表和列表的舆情看板了。

6. 项目优化与生产化思考：从“能跑”到“好用”

一个基础的毕设演示系统已经完成。但如果想让项目更扎实，或者向生产环境靠拢，还需要考虑以下几点：

6.1 引入任务队列（Celery）实现自动化

目前的数据采集和分析命令需要手动执行。在生产中，它们应该是自动定时运行的。

1. 安装并配置 Celery 和 Redis（作为消息代理）。
2. 创建celery.py配置文件。
3. 将crawl_news、analyze_sentiment等命令的逻辑改写成 Celery 任务（@shared_task）。
4. 使用celery beat设置定时任务（如每天凌晨2点采集新闻，每小时分析一次情感）。
5. 这样，你的系统就具备了全自动数据流水线的能力，无需人工干预。

6.2 前端交互与实时性增强

• 图表联动：使用 ECharts 的dispatchAction实现图表间联动，例如点击饼图的某个情感部分，趋势图联动筛选出该情感的评论趋势。
• 数据筛选：在看板增加时间范围选择器、新闻来源筛选器等，让用户能动态查询不同维度的数据。
• 定时刷新：对于需要近实时监控的场景，可以使用 JavaScript 的setInterval定时向 Django 后端发起 Ajax 请求，获取最新数据并更新图表（注意性能）。

6.3 性能优化

• 数据库查询优化：使用select_related或prefetch_related减少 N+1 查询问题。对频繁查询的字段（如heat_score）建立数据库索引。
• 缓存策略：热点主题、情感分布等计算成本较高、变化频率较低的数据，非常适合存入缓存（如 Django Redis 缓存）。视图里先查缓存，没有命中再计算。
• 分页：热点新闻列表如果数据量巨大，必须实现分页（Django 内置Paginator）。

6.4 系统监控与日志

• 日志记录：为数据采集、分析任务添加详细的日志记录（使用 Pythonlogging模块），记录成功、失败、数据量等信息，便于问题排查。
• 健康检查：可以编写一个简单的视图，检查数据库连接、缓存连接、关键任务最近执行时间等，作为系统健康状态的仪表盘。

6.5 关于“Agent”的思考

项目标题中提到了“agent”。在当前语境下，这可以理解为一种智能体的雏形。你可以将这个系统扩展为一个更智能的舆情监控Agent：

1. 感知：通过爬虫或API持续感知（采集）新信息。
2. 分析：自动进行情感判断、热点发现、事件聚类。
3. 决策：设定规则（如负面情感超过阈值、某热点突然爆发），触发预警（发送邮件、钉钉/飞书消息）。
4. 行动：甚至可以自动生成简单的舆情报告摘要。

这为项目提供了一个很好的升级方向，可以从“分析展示系统”演进为“自动监控与响应系统”。

7. 常见问题与排查清单

在开发和部署过程中，你几乎一定会遇到下面这些问题。按照这个顺序排查，能节省大量时间。

7.1 环境与依赖问题

• pip install失败：优先使用国内镜像源（如清华、阿里云）。检查Python版本和系统环境变量。
• Django 启动报错：检查INSTALLED_APPS是否注册了你的应用，检查数据库配置（特别是如果用了 MySQL/PostgreSQL，需要先创建数据库并安装对应的 Python 驱动mysqlclient或psycopg2）。
• 端口被占用：runserver默认用 8000 端口，如果被占用，使用python manage.py runserver 8080指定其他端口。

7.2 数据采集问题

• 爬虫被屏蔽：检查请求头User-Agent是否模拟了浏览器，是否设置了合理的延迟。考虑使用 IP 代理池（对于毕设，更建议用模拟数据）。
• 数据解析错误：网站结构可能改变。使用print(soup.prettify())打印解析后的 HTML，确认你的 CSS 选择器路径是否正确。
• 数据重复入库：确保模型中有唯一性约束（如url字段的unique=True），或在保存前进行exists()查询。

7.3 数据分析问题

• SnowNLP 情感分析不准：SnowNLP 基于商品评论训练，对新闻评论可能不适用。可以尝试自己标注小样本数据微调，或换用其他情感分析工具/API。
• 聚类结果不理想：尝试调整 TF-IDF 的max_features（特征数量）、stop_words（停用词表），或尝试不同的聚类算法（如DBSCAN）和聚类数量n_clusters。
• 性能慢：对于大量文本，TF-IDF 向量化可能很慢。考虑对文本进行采样，或使用HashingVectorizer（但会损失可解释性）。

7.4 可视化问题

• ECharts 图表不显示：
  1. 检查浏览器控制台（F12）是否有 JavaScript 错误。
  2. 检查echarts.min.js是否成功加载。
  3. 检查传递给 ECharts 的数据格式是否正确，特别是 JSON 字符串是否被正确解析。使用console.log()打印数据确认。
• 图表数据为空：检查 Django 视图中的查询逻辑，确认数据库里是否有对应时间段的数据。在视图里打印news_trend等查询集的结果进行调试。
• 页面布局错乱：检查 Bootstrap 的 CSS/JS 是否成功加载，检查 HTML 标签是否闭合，检查container、row、col的嵌套是否正确。

7.5 部署问题

• 静态文件404：部署到生产环境（如 Nginx + Gunicorn）时，Django 的runserver不再处理静态文件。必须运行python manage.py collectstatic收集静态文件，并在 Web 服务器（如 Nginx）中配置静态文件路径。
• 时区问题：确保settings.py中的TIME_ZONE和USE_TZ设置正确，数据库时间与代码中timezone.now()的时间一致。
• Celery Worker 不执行任务：检查 Redis 服务是否运行，检查 Celery 的配置文件中broker_url是否正确，检查 Worker 进程是否成功启动并连接到 Broker。

这个项目真正的难点，从来不是某个算法或某个图表怎么画，而是如何让数据采集、处理、分析、展示这四个松散的部分，通过 Django 这个框架和一系列 Python 库，稳定、自动、可维护地协同工作起来。我的建议是，先按照上面的流程，用一个非常小的、模拟的数据集，把整个链路跑通。看到第一个简单的图表在浏览器里生成出来，你就成功了一大半。之后再逐步替换数据源、优化算法、美化界面、增加自动化。