☰
Data Science for Beginners 第一课作业全解:用数据科学过程设计真实场景方案
2026/10/17 0:43:29 网站建设 项目流程

Data Science for Beginners 第一课作业全解:用数据科学过程设计真实场景方案

【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners

导读

本文围绕 Data-Science-For-Beginners 课程第一课《Defining Data Science》的配套作业(作业参考答案)展开,系统讲解如何运用数据科学过程去分析真实业务问题:从"该收集什么数据"到"如何收集、如何存储、最终能得到什么洞察与决策"的四问框架。读完本文,你将掌握一套可直接复用的场景设计方法论,并了解课程给出的教育场景完整示例答案与三档评分标准,为后续的概率统计、数据准备与可视化课程打下实践基础。

作业背景:从数据科学定义到实战练习

在 1-Introduction/01-defining-data-science/README.md 中,课程将数据科学定义为"用科学方法从结构化与非结构化数据中提取知识,并将可执行的洞察应用到广泛业务领域"的学科,其核心数据旅程包含五个步骤:

  1. 数据获取(Data Acquisition)——从传感器、问卷、行为分析、文本、图像、日志等来源采集数据;
  2. 数据存储(Data Storage)——在关系数据库、NoSQL 或 Data Lake 中组织数据;
  3. 数据处理(Data Processing)——把原始数据转换为可用于可视化与建模的形式,例如用 AI 从非结构化数据中提取特征;
  4. 可视化 / 人类洞察(Visualization / Human Insights)——通过图表与统计方法发现关系、检验假设;
  5. 训练预测模型(Training a Predictive Model)——基于数据构建可对新数据做出预测的模型。

本作业正是要求学习者把这一过程"反向"应用:给定一个真实问题,先设计数据方案,再推演洞察与决策。作业原文(英文版与捷克语翻译版)要求你思考不同问题领域中的真实流程或问题,并回答四个固定问题。

核心方法论:设计数据科学场景的四问框架

作业要求围绕任意真实流程/问题,依次回答以下四个问题,这是整个场景设计的骨架:

#思考维度核心关注点
1可以收集哪些数据?(Which data can you collect?)识别与问题相关、可观测、可获取的数据信号
2如何收集?(How would you collect it?)明确采集手段:传感器、摄像头、日志、问卷、数据库抽取等
3如何存储?数据规模大概多大?(How to store? How large is the data likely to be?)判断数据是结构化、半结构化还是非结构化,选择存储方案并预估量级
4能从数据中得到哪些洞察?基于数据能做哪些决策?(Which insights/decisions?)由数据推演可验证的结论,以及由此触发的业务动作

这四个问题恰好映射课程 README 中"数据旅程"的前四个环节(获取→存储→处理→可视化/洞察),并将第五个环节(模型训练)隐含在"洞察与决策"之中——当数据规模与复杂度上升时,就可以引入机器学习构建预测模型。

作业建议你至少思考3 个不同的问题领域,并为每个领域逐一回答上述四个问题。课程给出了三个可选的起步领域:

  1. 如何用数据改进学校中儿童的教育过程?
  2. 如何用数据在大流行期间管控疫苗接种?
  3. 如何用数据确保自己工作中的生产力?

你可以用自己感兴趣的问题领域替换这三个建议方向。

教育场景完整示例答案拆解

课程在作业中提供了一条完整示例答案(表格形式),用于示范"合格答案"应该长什么样。以**教育(Education)**领域为例:

维度示例答案内容
问题大学课堂上通常出勤率较低,且存在一个假设:参加课堂讲授的学生在考试中的平均表现更好。目标是通过数据验证该假设并激励出勤。
收集哪些数据通过教室安防摄像头拍摄的照片跟踪出勤,或跟踪学生在教室中的手机蓝牙/Wi-Fi 地址;考试成绩数据已存在于大学数据库中。
如何存储数据若采用安防摄像头方案:课堂期间需存储少量(5-10 张)照片(非结构化数据),随后用 AI 识别学生人脸(将数据转换为结构化形式)。
洞察与决策计算每个学生的平均出勤数据,检验其与考试成绩之间是否存在相关性;为激励出勤,可在学校门户发布每周出勤排名,并在出勤率最高的学生中抽奖。

这个示例有三个值得注意的技术要点:

  • 非结构化 → 结构化的转化:摄像头照片属于非结构化数据,必须经过 AI 人脸识别转换成结构化记录(学生 ID、日期、是否出席),才能进入后续统计分析。这与课程 1-Introduction/01-defining-data-science/README.md 中"数据处理"步骤的描述一致:面对文本、图像等非结构化数据时,需要使用 AI 技术提取特征,从而转为结构化形式。
  • 混合数据源:答案同时利用了新采集的数据(出勤照片)与既有数据(大学数据库中的考试成绩),这是真实数据项目中非常常见的组合方式。
  • 从相关性到决策闭环:答案不只是"算出相关性",还设计了后续业务动作(公布排名、抽奖激励),完整走通了"洞察 → 决策"的闭环。作业原文还特别提示,相关性(correlation)这一概念会在后续课程 1-Introduction/04-stats-and-probability/README.md 的概率与统计章节中详细讨论——那里会讲解协方差、相关系数、置信区间与假设检验(如 Student t-test),正好是验证"出勤与成绩相关"这一假设的统计工具。

作业表格中**疫苗接种(Vaccination)与生产力(Productivity)**两行留空,留给学习者自行完成。以同样的框架可以这样推演(仅作思路示范,非课程原文内容):疫苗接种场景可收集接种登记记录、各地区的接种覆盖率与确诊/住院数据(结构化,存于关系数据库),用以发现接种率与感染率的关系并指导疫苗分配决策;生产力场景可收集任务完成时间、会议时长、干扰事件日志等(结构化/半结构化),用以识别低效时段并调整工作安排。

结合仓库数据资产的进阶练习

本作业的最佳进阶方式是"拿着四问框架去看真实数据"。仓库 data 目录中提供了多个可直接用于练习的数据集,例如:

  • data/emails.csv——可用于垃圾邮件分类、文本挖掘场景;
  • data/taxi.csv——可用于出行行为分析、时间序列场景;
  • data/birds.csv 与 data/honey.csv——可用于物种特征分析与农业产量场景;
  • data/diabetes.tsv 与 data/mushrooms.csv——可用于医疗与分类预测场景。

选一个数据集,回答"它是结构化还是非结构化数据?存储在什么数据库/格式中最合适?能回答哪些问题、支撑哪些决策?",即可把作业中的抽象设计落实到具体数据上。同时,第一课的 notebook.ipynb 展示了完整的文本挖掘流程(用requests抓取维基百科页面、用 BeautifulSoup 清洗 HTML、用nlp_rake提取关键词),solution 目录下的 notebook 还演示了针对 Machine Learning 词条的进阶清洗方法——这是"数据获取与处理"环节最直观的代码级参考。

评分标准:如何交付一份高质量答案

作业最后给出了明确的评分标准(Rubric),共三档:

等级要求
优秀(Exemplary)对所有问题领域都识别出合理的数据来源、数据存储方式,以及可能的决策/洞察
合格(Adequate)部分解决细节不足、未讨论数据存储,但至少描述了2 个问题领域
需改进(Needs Improvement)只描述了数据解决方案的部分内容,且只考虑了1 个问题领域

从评分标准可以提炼出三条实战要点:

  1. 覆盖面:尽量完成全部 3 个领域,这是拿到"优秀"的前提;
  2. 存储环节不可省略:评分标准明确将"未讨论数据存储"列为降档条件,回答第三个问题(如何存储、数据规模多大)是区分合格与优秀答案的关键;
  3. 每个领域都要形成闭环:数据来源、存储方式、洞察/决策三要素缺一不可,且要与问题本身对应。

总结

本作业是 Data-Science-For-Beginners 课程的第一项实战任务,其本质是用"数据获取 → 数据存储 → 数据处理 → 可视化/洞察 → 决策"的数据科学过程,为一个真实问题设计端到端的数据方案。掌握四问框架(收集什么、如何收集、如何存储、得到什么洞察与决策),参考教育场景的完整示例答案,再结合仓库中的真实数据集与 notebook 代码进行练习,你就能写出达到"优秀"标准的场景设计。后续课程 2-Working-With-Data/README.md(关系数据库与非关系数据库)、3-Data-Visualization/README.md(可视化)与 1-Introduction/04-stats-and-probability/README.md(概率统计与相关性检验)将分别深化本作业涉及的存储、洞察与假设验证能力。

【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询