企业官网建设流程全解析

• 数据集
• 数据工程
• 数据分析

internship-warehouse是一个专为进阶 Capstone 项目打造的 SEO 数据仓库数据集，包含约81.8M 行真实脱敏的搜索与内容性能数据，采用经典星型架构（Star Schema）组织，全部以 Parquet 格式存储。无论你正在准备毕业设计、求职作品集，还是想系统练习大数据 SQL 分析，这份完全指南都能带你快速上手这套数据仓库。

📦 项目是什么：一句话看懂 internship-warehouse

这是一个来自 FlyRank 实习项目的假名化（Pseudonymized）数据仓库发布版（v20260703 快照）。它把生产环境数据仓库的 v2 完整历史导出为 4 张表，所有敏感 ID 都经过加盐、命名空间化的哈希处理，盐和原始标识永远不会随数据分发，因此你可以放心用于研究与教学场景。

项目根目录结构非常清爽：

• README.md —— 项目说明、表结构与加载方式
• dataset_infos.json —— 全部字段的元信息清单
• dim_clients.parquet、dim_content.parquet —— 两张维表
• fact_content_daily_performance/ —— 按月分区的事实表
• fact_content_daily_performance_sample.parquet —— 单月样本，新手入口
• fact_content_query_90d.parquet —— 查询级 90 天窗口事实表

🗂️ 星型架构：4 张核心表速览

星型架构是数仓建模的黄金范式——中间一张大事实表，周围环绕若干维表，join 高效、逻辑直观。internship-warehouse 的表结构如下（摘自 README.md#L44-L49）：

维表：客户与内容的"身份证"

dim_clients（仅 104 行）记录了每个客户的访问权限画像，比如has_gsc_access（是否有 Search Console 权限）、has_ga4_access（是否有 GA4 权限），以及gsc_data_start/ga4_data_start两个关键日期字段——这正是理解本数据集"非平衡面板"属性的钥匙：不同客户的历史数据深度并不一致，做时间序列分析时必须注意这一点。

dim_content（约 52 万行）则是内容维表，字段非常丰富（完整清单见 dataset_infos.json）：

• 关键词侧：search_volume（搜索量）、competition（竞争度）、cpc（点击成本）、main_intent（搜索意图）
• 内容侧：content_type、word_count、char_count、is_published、is_deleted
• 优化侧：last_optimized_date、optimization_eligible_date

这些字段让你的 Capstone 项目可以直接切入"内容特征如何影响搜索表现"这类高价值问题。

事实表：每天的性能心跳

fact_content_daily_performance是主事实表，按month=YYYY-MM分区，覆盖2025-01 至 2026-06共 18 个月，每月一个data_0.parquet文件。它融合了两大平台指标：

• GSC 指标：gsc_impressions（曝光）、gsc_clicks（点击）、gsc_avg_position（平均排名）
• GA4 指标：ga4_pageviews、ga4_sessions、ga4_engaged_sessions（互动会话）、ga4_total_engagement_sec（总互动时长）
• 渠道拆分：sessions_organic/sessions_direct/sessions_referral/sessions_social/sessions_paid，以及非常前沿的sessions_ai
• AI 渠道细分：ai_chatgpt、ai_perplexity、ai_gemini、ai_copilot、ai_claude、ai_meta等字段，让你可以量化"AI 流量占比"这一 2025 年后的热门话题

此外每张事实表还带gsc_data_available、ga4_data_available等可用性标记，避免你把"缺数据"误读为"零表现"——这是很多新手踩过的坑。

查询级表：90 天窗口里的长尾洞察

fact_content_query_90d是查询粒度表，提供固定 90 天窗口及其 last-30 / prev-30 子窗口的曝光、点击与平均排名对比（如impressions_last30vsimpressions_prev30，天然支持"环比增速"分析）。更贴心的是，它对稀有长尾查询（曝光 < 10 次）和 Google 匿名化的曝光做了保留处理，以rare_impressions_share、anonymized_impressions_share两个聚合占比字段呈现，细节上非常专业。

🚀 快速上手：两种加载方式

方式一：HuggingFacedatasets流式读取（最轻量）

from datasets import load_dataset ds = load_dataset("FlyRank/internship-warehouse", "fact_content_daily_performance", streaming=True, split="train")

开启streaming=True后无需下载全量数据，边读边算，对内存友好。

方式二：DuckDB 直查 Parquet（最适合 SQL 党）

DuckDB 可以直接挂载远程 Parquet，无需完整下载，Colab 里即可运行：

import duckdb con = duckdb.connect() rel = "hf://datasets/FlyRank/internship-warehouse" con.sql(f"SELECT COUNT(*) FROM read_parquet('{rel}/fact_content_daily_performance/**/*.parquet')")

💡 提示：由于仓库为 Gated 访问，需先在浏览器中同意数据使用条款，再配置一个 READ token，详见 README.md#L67-L73。

🌱 新手建议：先玩_sample文件，再挑战全量

README 明确建议：fact_content_daily_performance_sample.parquet就是最近一个完整分区（2026-06 月），规模可控、结构完整，是验证代码逻辑的最佳起点。推荐学习路径：

1. 用 fact_content_daily_performance_sample.parquet 跑通"曝光-点击-CTR-排名"基础指标
2. 把路径换成分区通配符fact_content_daily_performance/**/*.parquet，扩展至 18 个月
3. 最后挑战 fact_content_query_90d.parquet 的查询级分析

🎯 Capstone 选题灵感清单

基于这套数据仓库的字段设计，以下 5 个方向都是"有数据支撑、有业务价值"的进阶选题：

1. 内容优化效果归因：用last_optimized_date前后对比 GA4 会话与 GSC 排名，评估优化的真实收益
2. AI 流量趋势研究：按sessions_ai与各ai_*渠道拆解月度趋势，输出"AI 渠道占比报告"
3. 关键词意图 × 竞争度分群：结合dim_content的main_intent、competition_level、search_volume，找出高潜力低竞争内容
4. 长尾查询环比监测：利用 90d 表的 last-30/prev-30 双窗口，构建内容健康度预警指标
5. 非平衡面板处理实践：以gsc_data_start/ga4_data_start为起点做时间对齐，展示数据清洗功力

⚖️ 数据使用条款：务必遵守

internship-warehouse 的使用限制非常清晰（见 README.md#L75-L80），也是你展示专业素养的机会：

• 仅限匿名化研究与教育用途
• 禁止尝试重新识别客户、域名、查询或关键词
• 禁止再分发原始数据
• 任何公开产出（案例研究、仓库、图表、演示）中不得出现客户可识别信息

把这些条款写进你项目的 Data Ethics 章节，会是相当加分的一笔。

✍️ 结语

internship-warehouse 把真实生产级数仓的"骨架"完整带给了学习者：81.8M 行 Parquet 数据、规范的星型架构、按月分区、查询级长尾细节，加上清晰的脱敏条款。从_sample文件起步，用 DuckDB 或datasets流式加载，挑一个上面的选题深入下去——你的下一个进阶 Capstone 项目，就从这套 SEO 数据仓库开始。🚀

• 数据集
• 数据工程
• 数据分析