企业官网建设流程全解析

基于阿里 OneData 架构｜信贷业务数仓分层完整落地实践（移除 DWM，博客定稿版）

前言

本文依托《大数据之路》OneData 核心理念，结合信贷全业务链路（授信 → 放款 → 还款 → 逾期 → 催收 → 不良处置），采用最简落地分层：DIM 公共维度层 + ODS 贴源层 + DWD 明细层 + DWS 公共指标层 + ADS 应用层。

中小型信贷平台、持牌消金轻量化落地普遍可省略 DWM 层，DWD 明细直接向上供给 DWS 汇总计算，架构简洁、维护成本低、新手易落地。

整体数据流流向：

业务源数据 → ODS 原始落地 → DWD 清洗标准化明细 → DWS 全局统一指标汇总 → ADS 业务定制输出

DIM 维度表全程贯穿所有层级，统一全局编码与历史快照

一、DIM 公共维度层（全局共享字典层）

1、构建方式（信贷核心三张维表）

维度表存储客户、产品、机构这类属性会缓慢变更、全业务域重复使用的数据，统一使用SCD2 拉链表记录历史状态，固定字段start_dt、end_dt、is_valid，永久保留每一个时间节点的属性快照。

1. dim_customer_info 客户拉链维表
   • 来源：信贷客户主库
   • 核心字段：脱敏客户 ID、姓名、身份证、客户风控评级、授信等级、常驻城市、黑白名单标识、start_dt、end_dt
   • 变更场景：客户风控评分升降级、个人资料修改、授信额度调整。
2. dim_loan_product 信贷产品拉链维表
   • 来源：产品配置中心
   • 核心字段：产品 ID、产品名称、合同年化利率、分期期数、还款方式（等额本息/先息后本）、产品上下架状态
   • 业务刚需：历史放款订单计息，必须匹配放款当日的产品利率规则，不能使用最新产品配置核算往期账务。
3. 通用静态维表：dim_org（营业部/催收机构）、dim_date 日期维、dim_risk_code 风控拒绝码字典

2、分层作用 & 信贷业务价值

1. 统一全局编码口径
   • 风控、账务、催收、财务所有部门共用一套客户 ID、产品 ID、机构编码，从根源杜绝“各部门字典定义不一致导致数据对不上”。
2. 还原历史真实业务快照，保障账务合规
   • 信贷计息、逾期测算、监管审计对历史数据精度要求极高，拉链维表可以精准回溯任意放款日期对应的产品费率、客户等级，不会因为后期产品改版、客户信息变更造成历史账目核算错误。
3. 解耦事实表与属性信息，节省存储开销
   • DWD/DWS 事实表只存储 ID 数值，文字名称、分类、评级等属性统一放在 DIM，事实表体积更小，关联查询效率更高，全平台一份维度多处复用。
4. 统一数据治理入口，维度变更仅维护 DIM 即可全链路生效。

二、ODS 贴源层（原始数据保险柜）

1、构建方式

数据接入方式：MySQL 业务库通过Flink CDC 同步 Binlog 增量数据，静态基础表使用 DataX 每日全量快照同步；风控日志、催收埋点文件通过采集链路落地 ODS。

严格遵循1:1 复刻源表结构，不做任何清洗、转换、字段修改。

信贷 ODS 核心数据表清单：

存储规则：按dt日期分区存储，原始数据长期归档留存；仅做数据量波动监控告警，脏数据、测试数据、重复 binlog 全部原样保存。

2、分层作用 & 信贷业务价值

1. 隔离线上交易库，保护放款、代扣核心系统稳定
   • 所有数据分析、报表计算全部读取 ODS，不再频繁查询生产 MySQL，避免数仓大批量查询压垮线上放款、扣款接口，保障信贷系统资金交易链路稳定。
2. 唯一原始凭证，支撑监管核查与账务差错溯源
   • 金融行业监管抽查、财务对账出现资金差异时，ODS 原始 Binlog 是具备法律效力的原始依据，上层所有数仓加工数据都无法作为举证资料；业务库会定时归档清理冷数据，ODS 永久保存全量流水兜底。
3. 统一收拢多源异构数据
   • 客户系统、放款系统、催收系统、风控系统分散独立，ODS 作为统一数据入口，把零散数据源汇总至数仓体系，上层加工无需对接五花八门的源端。
4. 数据血缘最底层起点，报表数据异常可反向溯源定位问题出在源头系统，还是数仓加工逻辑。

三、DWD 数据明细层（清洗加工层，全公司可信明细底座）

1、构建方式

数据来源：ODS 原始数据表 + DIM 维度表（仅关联 ID，不冗余文本属性）

数据粒度：最细业务原子粒度，一行对应一次真实信贷行为，是整个数仓最核心的标准数据源。

加工统一执行四类标准化处理：脏数据过滤、字段标准化、多业务表整合、数据脱敏。

信贷四张核心 DWD 明细表：

1. dwd_credit_apply_detail_inc授信申请明细
   • 清洗规则：剔除测试账号申请、空身份证无效数据、重复上报申请记录；统一时间格式、标准化审核状态编码。
2. dwd_credit_contract_detail_inc放款合同明细
   • 清洗规则：过滤作废、撤销的无效合同；统一本金、利率数值精度；绑定授信 ID 与客户唯一标识。
3. dwd_credit_repay_detail_inc还款明细（账务核心表）
   • 清洗规则：去重重复代扣流水；区分正常还款、提前结清、第三方代偿还款；拆分本金、利息、罚息三类金额字段。
4. dwd_credit_overdue_detail_inc逾期明细
   • 清洗规则：清洗逾期天数为负数、状态错乱脏数据；统一 M1~M3+ 不良阶段编码规范。

2、分层作用 & 信贷业务价值

1. 一次全局清洗，全业务线共用干净明细
   • 风控分析、账务核算、逾期统计、催收报表全部复用 DWD 标准明细。如果各个团队自行从 ODS 清洗数据，过滤规则不一致会导致放款总额、回款金额多方数据打架，DWD 收敛所有清洗规则，保证底层明细唯一可信。
2. 完成字段、格式、枚举值全平台标准化
   • 各业务系统字段命名、时间格式、状态码不统一，在 DWD 完成统一规范定义，后续所有上层计算无需重复处理格式问题。
3. 保留最细粒度流水，支撑明细对账、穿透式排查
   • 财务逐笔对账、单笔合同计息核对、不良资产逐笔排查，都依赖 DWD 原始明细数据，DWS 只是聚合汇总，无法满足明细级核查需求。
4. 数据质量问题统一收口，脏数据、异常数据统一在 DWD 拦截，不会向上污染汇总指标。

四、DWS 公共汇总宽表层（OneData「一数一源」核心指标仓库）

1、构建方式

数据来源：DWD 标准明细数据 + DIM 维度表（此处关联带出产品名称、机构、客户地域等文本属性）

粒度：按公共分析维度做聚合（日期、信贷产品、营业部机构、客户分层），构建业务域汇总宽表，存储全公司统一标准经营指标。

示例表：dws_credit_product_day_agg产品日资产汇总宽表

聚合维度：dt + loan_product_id + 营业部 ID

标准化指标分为三大类（全公司口径强制统一）

• 规模指标：当日授信总额、新增放款笔数、放款本金、在贷余额、有效合同总量
• 回款指标：应还本金、实收本金、实收利息、实收罚息、提前结清金额
• 资产质量指标：逾期本金、M1/M2/M3 逾期余额、整体逾期率、当期不良率

2、分层作用 & 信贷业务价值

1. 实现一数一源，彻底解决各部门指标口径冲突
   • 风控部门的不良率、财务部的不良率、管理层大屏不良率全部取自 DWS 同一套计算逻辑，杜绝业务部门各自写 SQL 计算指标带来的数据差异，是企业经营数据的官方唯一基准。
2. 高度聚合压缩数据量，BI 大屏、经营报表秒级响应
   • DWD 明细量级巨大，直接查询明细聚合速度很慢，DWS 完成预汇总后数据量大幅缩减，管理后台、资产监控大屏直接读取 DWS，查询性能极强。
3. 指标维护集中化，降低迭代成本
   • 监管指标规则、资产统计口径发生变更时，仅修改 DWS 一层计算脚本，下游几十份报表、看板自动同步更新，不用逐个修改所有业务脚本。
4. 承载企业公共资产指标，区分公共标准指标与业务个性化指标，守住数仓底层稳定性。

五、ADS 应用数据层（业务交付出口层）

1、构建方式

数据来源：优先读取 DWS 公共汇总指标；账务对账、催收明细分析按需读取 DWD 原始明细。

ADS 不约束统一规范，完全贴合业务个性化需求开发，计算衍生指标、定制化报表，最终数据落地至 MySQL、Doris、ClickHouse 等 OLAP 引擎对外输出。

信贷四大高频 ADS 应用表：

1. ads_regulatory_month_report监管月度报送报表
   • 监管存在特殊报送规则：剔除测试账户、豁免类坏账扣减，这类定制规则不能写入公共 DWS，在 ADS 加工生成标准上报文件。
2. ads_finance_month_account_check财务月度对账表
   • 财务需要对接银行流水、计提坏账准备金、税费核算，财务口径和业务资产口径存在天然差异，私有账务逻辑放置 ADS 实现。
3. ads_collector_performance催收员业绩考核表
   • 基于逾期回款数据计算催收提成、回款达成率，属于人事考核私有业务规则。
4. ads_risk_user_label风控用户标签表
   • 基于用户历史放款、还款、逾期行为产出优质客户、高风险多头借贷标签，推送给线上授信风控系统。

2、分层作用 & 信贷业务价值

1. 隔离多变业务需求，保护底层数仓架构稳定
   • 监管政策、财务制度、催收考核方案会频繁变动，所有改动逻辑全部写在 ADS，ODS/DWD/DWS 底层代码长期无需改动，数仓基座不会被频繁需求迭代改乱腐化。
2. 适配各类终端存储与访问场景
   • Hive 数仓不支持高并发查询，ADS 将计算结果下沉到关系库、OLAP 数据库，支撑前端管理页面、风控接口的线上调用。
3. 统一数据流出管控，满足金融数据合规要求
   • 所有对外输出、对外推送的数据统一经由 ADS 流出，集中完成客户敏感信息脱敏、数据流出日志审计，满足信贷行业的数据安全合规监管要求。
4. 承接各类临时报表、专项分析需求，不污染企业级标准指标体系。

六、信贷业务完整数据流转链路（一笔放款全流程）

客户提交授信申请 → 业务 MySQL 写入交易数据 → CDC 采集数据原样落地ODS（原始存档留痕）

调度任务对 ODS 数据清洗、去重、标准化，产出干净可信放款/还款/逾期明细DWD

DWD 明细关联 DIM 维度表，按产品、机构维度汇总计算全公司统一资产指标存入DWS

监管报表、财务对账、催收考核、风控标签等个性化业务需求，基于 DWS/DWD 数据加工至ADS对外交付使用

全程依靠 DIM 拉链维度表匹配对应时刻产品利率、客户风控等级，保证计息、资产核算、历史分析数据精准无误

七、各层级一句话核心定位（博客总结金句）

1. DIM 维度层：企业统一数据词典，留存历史实体快照，是所有数据口径统一的根基
2. ODS 贴源层：原始数据保险箱，留存最真实业务流水，用于溯源、审计、故障排查
3. DWD 明细层：数据清洗净化车间，产出全公司唯一标准明细流水，是所有指标计算的底层基石
4. DWS 汇总层：官方指标档案馆，统一资产、逾期、放款核心口径，对内经营分析的标准数据源
5. ADS 应用层：业务数据成品车间，按需定制各类报表、标签、对接系统，是数据价值落地的最终出口

补充：移除 DWM 层的适配场景说明

1. 适用：中小信贷公司、日流水千万以内体量、团队人数不多的数仓架构，架构轻量化、学习成本低、运维简单；
2. 大规模持牌消金、每日亿级流水场景，可按需增加 DWM 层做预关联、轻度聚合优化计算资源；普通业务场景四层 + DIM 完全足够落地使用。