企业官网建设流程全解析

使用Great Expectations、dbt测试和数据合约实施数据质量验证。在构建数据质量管道、实施验证规则或建立数据合约时使用。

⚠️ 风险等级：未知- 请谨慎使用此技能。

技能概述

data-quality-frameworks 技能提供使用Great Expectations、dbt测试和数据合约实施数据质量验证的生产模式，以确保可靠的数据管道。该技能帮助开发团队构建数据质量管道、实施验证规则和建立数据合约。

下载地址：https://github.com/sickn31/antigravity-awesome-skills/tree/main/skills/data-quality-frameworks

主要功能

• 数据质量检查：在管道中实施数据质量检查
• Great Expectations验证：设置Great Expectations验证
• dbt测试套件：构建全面的dbt测试套件
• 数据合约：在团队之间建立数据合约
• 数据质量监控：监控数据质量指标
• CI/CD自动化：在CI/CD中自动化数据验证

触发条件

• 在管道中实施数据质量检查
• 设置Great Expectations验证
• 构建全面的dbt测试套件
• 在团队之间建立数据合约
• 监控数据质量指标
• 在CI/CD中自动化数据验证

使用说明

1. 识别关键数据集和质量维度
2. 定义期望/测试和合约规则
3. 在CI/CD中自动化验证并安排检查
4. 设置警报、所有权和修复步骤
5. 如果需要详细的模式，请参考resources/implementation-playbook.md

安全注意事项

• 避免在没有后备计划的情况下阻塞关键管道
• 在验证输出中安全处理敏感数据

资源文件

• resources/implementation-playbook.md- 详细的框架、模板和示例

输入要求

• 数据集定义和模式
• 质量维度和验证规则
• 数据合约要求
• CI/CD配置信息

输出说明

• 数据质量验证代码
• Great Expectations配置
• dbt测试套件
• 数据合约定义
• 监控和警报配置

最佳实践

1. 定义质量维度：明确定义数据质量维度
2. 自动化验证：在CI/CD中自动化数据验证
3. 建立合约：在团队之间建立明确的数据合约
4. 监控指标：持续监控数据质量指标
5. 设置警报：设置适当的警报和通知
6. 文档记录：记录数据质量规则和期望

限制说明

• 数据源未定义或不可用时不适用
• 无法修改验证规则或模式时不适用
• 与数据质量或合约无关的任务不适用
• 不应替代特定环境的验证、测试或专家审查
• 如果缺少所需的输入、权限、安全边界或成功标准，请停止并寻求澄清
• 风险等级为unknown，请谨慎使用