DBAKIT 数据库智能运维平台 v1.0 正式发布
2026/7/10 2:35:49
1 实验目的
本实验基于实验7-1的清洗后数据，借助助睿ETL工具完成标题特征、互动数据的衍生计算与分层存储，核心完成两类数据处理任务：
任务一：作品级明细数据更新
1. 计算作品互动总数，计算公式：total_interaction = likes + favorites + shares + coins；
2. 自动提取5项标题特征标志字段（has_best、has_lowcode、has_practice、has_tutorial、has_pit），以0/1二值形式标注标题关键词属性；
3. 将所有计算结果回填更新至content_analysis明细表，不新增、不覆盖原始基础数据。
任务二：关键词级汇总数据统计
1. 分组计算各关键词对应作品的平均互动总数、作品样本数、平台整体平均互动数；
2. 将所有关键词汇总统计结果，统一输出至title_feature_analysis汇总表。
实验核心掌握能力：
- 理解特征工程在数据分析中的核心价值与应用场景；
- 熟练使用助睿ETL计算器组件完成衍生指标计算；
- 运用JavaScript代码组件实现文本关键词自动标注与特征提取；
- 掌握插入/更新组件的数据回填方法，保障数据完整性、避免数据重复；
- 运用过滤、聚合、合并等组件组合，完成分组统计与多分支数据整合。
2 实验环境与工具
2.1 实验平台
实验依托助睿在线实验平台（https://lab.guilian.cn/），底层采用Uniplore iDIS大数据智能服务平台。该平台是AI驱动的零代码一站式大数据基础软件，覆盖数据接入、ETL加工、AI建模、可视化分析全链路，适配教学实训与企业数据加工场景。
平台官网：https://www.uniplore.com//
2.2 核心工具：助睿ETL
助睿ETL是平台核心数据集成工具，具备零代码、全链路、高适配的核心优势：
- 全元数据驱动：标准化定义数据读取、处理、写入全流程对象；
- 零代码拖拽操作：可视化完成数据抽取、转换、加载，无需复杂编程；
- 组件功能丰富：内置筛选、聚合、连接、填充等全类型预处理组件；
- Pipeline转换机制：多组件组合形成数据加工流程，聚焦数据精细化处理；
- 高可用开源内核：支持插件扩展，运行稳定、适配性强。
2.3 实验核心组件及用途
| 组件名称 | 核心用途 |
|---|---|
| 表输入 | 读取content_analysis表的待处理原始数据 |
| 计算器 | 计算作品互动总数衍生指标 |
| JavaScript代码 | 匹配标题关键词，生成5项0/1特征标志字段 |
| 插入/更新 | 按id匹配回填数据，更新明细表，避免数据重复 |
| 过滤记录+聚合 | 筛选指定关键词数据，完成分组平均值、样本数统计 |
| 增加常量 | 为各关键词统计数据添加名称标签，区分多分支数据 |
| 合并记录 | 整合5类关键词的统计数据，形成完整数据集 |
| 表输出 | 将关键词汇总数据写入目标统计表 |
3 核心设计思路
本次实验围绕作品明细特征量化和关键词维度数据归因两大核心设计数据加工流程，实现从原始数据到特征数据、汇总数据的全链路处理：
1.互动总量特征：整合点赞、收藏、转发、投币四类互动数据，计算总互动量，量化作品整体用户热度；
2.标题文本特征：筛选出与作品教学价值、实操属性强相关的5类高频关键词，通过0/1二值量化，将非结构化文本转化为可分析结构化字段，便于后续分组对比；
3.分层数据存储：作品级明细数据用于单作品维度分析，关键词级汇总数据用于批量特征效果对比，形成粗细结合的数据分析体系。
4 详细实验步骤
4.1 更新content_analysis作品明细表
步骤1：导入基础数据
新建转化流“2.1内容分析表更新”，拖入表输入组件，以content_analysis表作为输入。
步骤2：使用字段选择组件移除冗余字段
移除date,author_name,platform,views,url
步骤3：JavaScript组件提取标题特征
拖入JavaScript组件，填写：
vartitle=title;// 匹配五类标题关键词，存在则赋值1，否则为0varhas_best=title.indexOf("保姆级")!==-1?1:0;varhas_lowcode=title.indexOf("零代码")!==-1?1:0;varhas_practice=title.indexOf("实战")!==-1?1:0;varhas_tutorial=(title.indexOf("教程")!==-1||title.indexOf("指南")!==-1)?1:0;varhas_pit=title.indexOf("踩坑")!==-1?1:0;// 输出特征字段has_best=has_best;has_lowcode=has_lowcode;has_practice=has_practice;has_tutorial=has_tutorial;has_pit=has_pit;点击获取变量，修改变量类型：
步骤4：计算器组件计算互动总数
放入3个计算器组件，分别如下设置：
步骤5：插入/更新组件回填数据
使用插入/更新组件将计算后的特征数据、互动数据回填至原明细表，核心配置如下：
- 目标表：content_analysis；
- 匹配关键字：id（唯一标识，精准匹配单条作品数据）；
- 更新字段：total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit；
- 字段映射：流端id匹配表端id，其余计算字段一一对应回填。
步骤5：执行转换流
组装完整数据加工流程，点击运行，完成作品明细表的特征数据更新。
4.2 生成title_feature_analysis关键词汇总表
步骤1：新建目标汇总表
在平台创建title_feature_analysis表，用于存储关键词维度统计数据，表结构如下：
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
| id | INT | 自增主键 |
| platform | VARCHAR(20) | 作品平台（B站/CSDN） |
| feature_name | VARCHAR(50) | 关键词特征名称 |
| avg_interaction | DECIMAL(10,2) | 含对应关键词作品的平均互动数 |
| overall_avg | DECIMAL(10,2) | 平台作品整体平均互动数 |
| sample_count | INT | 含对应关键词的作品样本数量 |
新建转化流“2.2新建标题特征分析表”，执行一个sql脚本
CREATETABLEIFNOTEXISTS`title_feature_analysis`(`id`INTNOTNULLAUTO_INCREMENTCOMMENT'自增主键',`platform`VARCHAR(20)NOTNULLCOMMENT'平台（B站/CSDN）',`feature_name`VARCHAR(50)NOTNULLCOMMENT'关键词名称',`avg_interaction`DECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT'含该关键词的平均互动总数',`overall_avg`DECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT'该平台整体平均互动总数',`sample_count`INTNOTNULLDEFAULT0COMMENT'含该关键词的作品数',PRIMARYKEY(`id`));```### 步骤2：建立保姆级转化流以content_analysis表作为输入，分支一按平台排序并统计平台总平均互动数分支2过滤标题含“保姆级”的记录，同样统计平台平均互动以平台作左外连接，移除冗余的平台字段，增加常量feature_name，值设为保姆级将结果输出到title_feature_analysis表中，不要勾选“裁剪表”### 步骤3：复制保姆级转化流，分别修改为零代码，实战，教程，踩坑### 步骤4：结果预览d:\VSCode_porjects\商业数据分析\实验8\7-2自媒体运营分析：作品特征构建.md