OpenMetadata 快速上手:三步跑通你自己的元数据平台
【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata
OpenMetadata 是一个开源元数据平台,它会从你的数据源里收集库、表、列这些信息,再叠加血缘追踪和质量监控。这篇走最短的本地跑通路径:起服务、接一个数据库,然后依次看表详情、血缘和数据质量结果。
两条命令起步:本地启动 OpenMetadata
Quickstart 的 compose 文件(见 docker/docker-compose-quickstart/)把后端服务(默认 8585 端口)、MySQL 和 Elasticsearch 都打包在一起,不用手动装任何组件。前提只有 Docker、Docker Compose 和至少 4GB 空闲内存。
git clone https://gitcode.com/GitHub_Trending/op/OpenMetadata cd OpenMetadatadocker-compose -f docker/docker-compose-quickstart/docker-compose.yml up -d首次启动时容器会先完成数据库迁移,等几分钟再打开浏览器访问http://localhost:8585,就能看到管理控制台了。
🔌 接入一个 PostgreSQL 库:完成第一次摄入
服务起来后,下一步是告诉 OpenMetadata“数据在哪”——也就是配置要采集的数据库服务。
在控制台点“添加新服务”,选 PostgreSQL,然后按向导四步填:用户名、密码、主机与端口、库名,还可以顺便决定是否一次采集所有库、设置过滤规则。
图:OpenMetadata 控制台新增 PostgreSQL 服务时,分步填写的连接参数页
配置保存后平台会跑一次摄入,稍等片刻,这个库的表、列和描述就都出现在控制台里了。
🔍 三分钟打开一张表的详情:搜索与协作的同一入口
摄入完成之后,最直观的体验是“搜到一张表,就能看到全部”。表详情页里,每列的类型、描述、标签,加上归属人和使用等级一目了然;描述可以直接编辑,标签可以随手添加,评论和变更动态也在同一页——找数据和协作不用切换工具。
图:OpenMetadata 的表详情页,列信息、标签、血缘入口都在同一页
顺着数据流向查上下游:列级血缘
血缘回答的是“这数据从哪来、又被谁用”。OpenMetadata 的血缘不止停在表级别,它会解析 SQL,把源表和目标表之间的列映射也画出来;改字段之前,先查一遍下游受影响的表和报表,心里就有底了。
图:OpenMetadata 数据血缘图谱,追踪数据的上下游路径与列映射
✅ 把“数据对不对”变成定期跑的用例
数据可不可信,靠用例验证而不是口头承诺。在数据质量模块里,你可以给表或列建用例——空值、唯一性、行数、新鲜度都行——再放进定时管道里跑,结果会写回资产详情页,通过率从此成为别人选用这张表时的参考项。
用例和管道的完整实现在 ingestion/src/metadata/data_quality/,可以对照着看。
图:OpenMetadata 数据质量测试的运行结果,每个用例的通过情况与统计
它内部怎么跑:从数据源到上下文的四步
官方架构图把整件事分成四段:数据源(仓库、BI 工具、管道)先经过 130+ 连接器(摄入框架、元数据 API、事件等)进入一张上下文图,记录资产、列、责任人、质量之间的关系,最后通过搜索、API/SDK 和 MCP Server 提供给人与 AI 使用。
常见数据源大致覆盖这几类:
| 类别 | 代表支持源 |
|---|---|
| 关系型数据库 | MySQL、PostgreSQL、Oracle、SQL Server |
| 云数仓 | Snowflake、BigQuery、Redshift |
| NoSQL | MongoDB、Cassandra |
| BI 工具 | Tableau、Power BI、Superset |
| 管道 | Airflow、dbt |
这只是抽样,连接器实际更多,官方 README 标注为 130+。
图:OpenMetadata 的工作方式:数据源经连接器进入上下文图,再对外激活
建议先把一个天天在用的库摄入进来,配上一个质量用例跑通,再接一个 BI 工具验证血缘;元数据平台不用一次摄入所有东西,从核心资产开始,再慢慢往外扩。
【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考