数据治理流程

应用场景

• 新业务系统接入：将业务系统及其数据库接入平台，建立清晰的数据来源与业务归属。
• 存量数据资源盘点：识别数据库中的库、表和字段，形成统一、可追溯的元数据清单。
• 数据资产治理：在元数据基础上补充业务分类、数据分域和数仓分层等治理属性，推动数据资源资产化。
• 治理成果验证：通过任务实例、运行日志和元数据数量核对接入结果，为项目交付和治理验收提供依据。
• 数据资产发布：完成资产注册与信息核验，将数据纳入可检索、可理解和可使用的资产目录。

当前体验环境基于Docker Compose 部署，本文以实际操作链路为主线，从来源系统和数据连接准备开始，完整体验元数据采集任务的创建、执行、实例查看、日志核对及最新元数据验证过程。

---

前置条件

开始体验前，先准备以下 两类前置数据：

• 来源系统：负责回答数据属于哪个业务系统。
• 数据连接（数据源）：负责回答平台从哪里读取技术元数据。

完整准备及验证顺序如下：

→ 来源系统
→ 数据连接（数据源）
→ 采集任务
→ 运行实例
→ 运行日志
→ 最新元数据

第 1 步：来源系统

来源系统是业务档案，它用于统一记录元数据属于哪个业务系统，并把负责人、对接人等治理信息沉淀为可复用配置。

1.1 创建流程

基础管理 
→ 来源系统 
  → 点击 “新增” 
    → 输入系统名称“智慧水库运行管理系统”
      → 系统类型选择“业务系统”
      → 负责人、对接人、状态选择
      → 输入排序、状态、描述、备注

字段说明

• 系统名称：后续采集任务会按这个名称选择业务归属，应使用稳定、可识别的正式名称。
• 系统类型：用于区分业务系统、数据采集层、数据加工层、数据应用层等不同来源角色。
• 负责人：负责人承担治理责任。
• 对接人：对接人负责协同。
• 排序：只影响列表展示顺序，不改变采集逻辑。
• 状态：表示这份来源系统档案当前是否有效。创建后也可以在列表中通过开关调整。
• 描述：描述业务范围。
• 备注：备注补充接入方式或维护信息，便于后续人员理解和追踪。

1.3 开启状态

保存后回到列表，确认 “智慧水库运行管理系统” 的状态开关为开启。

⚠️ 注意： 来源系统的开启状态不是让系统“开始运行”，而是声明这份业务档案当前有效，状态关闭时，记录仍会保留，但不应继续作为新的有效业务归属使用。

---

第 2 步：数据连接

数据连接保存平台访问数据库所需的技术参数，是采集任务读取库、表和字段结构的入口。

2.1 创建流程

数据研发
 → 数据连接
  → 点击“新增” 
    → 输入数据连接名称“数据中台原始库（ADS）”
    → 数据连接类型选择“DM8”
    → IP输入容器服务名“dm8-demo” 端口号输入“5236” 
    → 账号输入“ads” 输入密码“s2LKr6LMQxVDTQx”
    → 输入数据库名称“ads” 
    → 状态选择“禁用”

字段说明

• 数据连接名称：任务选择连接时看到的名称，应体现用途，而不是只写数据库产品名。
• 数据库类型：决定系统加载哪一类驱动，以及页面展示哪些动态字段。
• IP / 端口 ：决定平台访问数据库的网络入口。容器部署时可以使用容器服务名。
• 账号 / 密码：用于数据库身份认证，密码不会以明文方式展示。
• 数据库名称：用于定位目标数据库或模式。
• 描述：说明连接在数仓中的用途，便于任务选择时判断是否选对。
• 状态 / 备注：状态决定连接是否允许继续使用；备注用于补充维护、网络或权限说明。

2.5 测试连接，再开启数据连接状态

保存后，回到数据连接列表，点击 “测试连接”，确认系统提示连接成功后，再打开状态开关并启用连接。

测试连接：用于一次性验证数据库驱动、网络地址、端口、账号密码和数据库名称是否能够共同工作。参数能保存，不代表采集器一定能访问数据库。
失败处理：若新增时连接校验失败，系统允许确认后继续保存，但会自动把启用状态置为禁用。此时应先修正地址、端口、账号、密码或数据库名称，再重新测试。
开启状态：测试成功后再启用连接。启用时系统会再次检查连接，如果连接失败，连接不会在不可用状态下被直接启用。

---

第 3 步：元数据采集

3.1 创建流程

数据治理 
  → 采集任务 
    → 点击 “新增”
     → 来源系统选择“智慧水库运行管理系统”
     → 任务名称输入“数据中台应用库（ADS）”
     →  数据连接名称选择“数据中台原始库（ADS）”
     →  调度器选择“Quartz” 
     → 调度时间点击配置选择“秒”点击指定后选择“0”点击确定（见调度周期配置图）
     → 采集范围选择“自定义库” 
      → 来源库选择“ADS” 点击右箭头按钮 “ADS”会出现在已选来源库中

字段说明

• 来源系统：用于标识元数据来自哪个业务系统，方便后续进行数据归属、数据血缘和资产分类管理。
• 数据连接名称：指定任务使用哪个数据源连接。平台会自动带出数据库类型、IP、端口和账号等信息。
• 责任人：对应负责人。灰色字段来自连接与责任人档案，不需要重复填写。
• 调度器：决定任务由哪个调度系统执行。
• 采集范围：决定平台需要扫描当前数据源中的哪些库或模式。

---

3.4 开启任务状态，执行一次

横向查看 “任务状态” 列，打开第一行任务的状态开关。

系统会询问是否发布任务，确认后，可以看到：

发布任务成功

随后点击：

更多 → 执行一次

第 4 步：采集实例

采集实例 
  →  数据中台应用库（ADS） 
  →  查看日志

同时可以核对：

来源系统：智慧水库运行管理系统
表数量：7
状态：成功

通过日志可以进一步确认：

---

第 5 步：最新元数据

最新元数据
 → 点击“智慧水库运行管理系统”
  → 点击“数据中台应用库”
   → 点击“ADS”

可以看到共 7 条记录，并且这些记录的：

所属库名：ADS
来源系统：智慧水库运行管理系统
版本号：v0.0.1

实例首次运行时显示：

新增 7

最新元数据中显示：

共 7 条

两者数量完全对应。

---

第 6 步：数据资产

完成元数据采集后，平台已经能够识别数据库中的表和字段，但此时得到的主要还是技术元数据。数据资产注册是在技术元数据基础上补充表类型、数仓分层、业务分类和数据分域等治理属性，让数据从“被平台发现”进一步变成“可检索、可理解、可治理、可使用”的资产。

元数据和数据资产的区别可以简单理解为：

• 元数据：说明数据库中有什么表、什么字段以及它们来自哪里。
• 数据资产：进一步说明这些数据属于什么业务、处于哪个数仓层级、适合怎样使用以及如何治理。

1、注册数据库表资产

进入数据资产后，按照以下路径操作：

资产地图
 → 点击“注册”
  → 选择“数据库表”
  → 点击“选择元数据”

在元数据选择窗口中，继续按照本次采集链路逐层展开：

在元数据树中依次选择
  → “智慧水库运行管理系统”
  → “数据中台应用库”
  → “ADS”
  → “ADS_BASIN_WATER_MONTH_REPORT_WIDE_APPEND”
  → 点击“确定”

2、补充业务治理属性

技术元数据被选中后，还要补充资产信息
  - 表类型选择“维度表”
  - 数仓分层选择“维度层”
  - 业务分类选择“水库运行监测业务”
  - 数据分域选择“水文监测数据域”
填写完成后点击“注册并退出”，之后会提示“注册成功”

这些属性的作用分别是：

• 表类型：说明这张表在数据模型中承担什么作用，例如维度表、事实表等。
• 数仓分层：说明数据位于 ODS、DWD、DWS、ADS 或其他数仓层级中的哪一层。
• 业务分类：从具体业务场景对资产进行归类，便于业务人员查找。
• 数据分域：从企业数据治理视角划分资产所属的数据领域，便于统一管理和统计。

3、资产详情

点击资产对应的 “详情”，可以看到四个页签，分别回答四类问题：

资产字段 → 这张表由哪些字段组成？
资产预览 → 表中实际存放了什么数据？
资产质量 → 数据是否完整、准确和可信？
资产概览 → 数据从哪里来、规模多大、由谁维护？

3.1、资产字段：这张表由什么组成

资产字段相当于表级数据字典，展示字段中文名、英文字段名、描述、类型、长度、小数位、是否可空、是否主键，以及数据分类、业务术语、代码表和数据元等治理信息。
它适合数据开发和分析人员确认字段结构，也适合数据治理人员维护统一口径。例如，把状态字段关联到代码表，可以解释 0、1 等值的含义；绑定业务术语和数据元，则能减少跨部门对同一指标或概念的理解差异。

3.2、资产预览：表里实际存放了什么

资产预览按真实字段展示数据记录，并支持分页、排序以及通过 =、>、AND、OR 等条件进行筛选，可以帮助使用者判断字段说明与实际数据是否一致，并在分析前快速识别空值、异常值或编码不统一等情况。

3.3、资产质量：这些数据是否可信

资产质量通过规则任务对数据进行持续评估。页面可配置或查看质量任务、调度周期、单次执行、整体质量评分、质量维度、问题数据占比、趋势和具体问题数据。

3.4、资产概览：资产从哪里来、由谁维护

资产概览是资产的基本档案。数据库表通常会展示数据连接名称、连接类型、连接 IP、数据行数、字段数、表类型、数据标签、创建人、更新人和联系方式。
使用者第一次接触资产时，可以先通过概览判断数据来源、规模和维护责任，再决定是否深入查看字段、样例和质量。它尤其适合资产管理员、项目经理、运维人员和需要寻找数据的业务人员。

4、发布资产

确认资产的业务分类、数据分域、字段含义和责任信息无误后，点击“发布”。发布意味着资产从登记或维护状态进入正式可检索、可使用的状态，不应把它当作单纯的页面开关。

发布前建议至少完成以下检查：

• 来源系统、数据连接和目标表是否选择正确。
• 表类型、数仓分层、业务分类和数据分域是否符合组织规范。
• 字段名称与描述是否足以让非建表人员理解。
• 是否包含敏感字段，访问和预览权限是否合理。
• 是否已经明确创建人、更新人或实际数据责任人。
• 对重要资产，是否需要同步建立质量任务和业务术语关联。

最终可以形成以下闭环：

来源系统
→ 数据连接
→ 采集任务
→ 采集实例
→ 运行日志
→ 最新元数据
→ 注册数据资产
→ 补充治理属性
→ 查看字段、预览、质量和概览
→ 发布资产

---

第 7 步：把整条链路串起来

完成前面的操作后，可以把整个过程理解为一条从 “发现数据”到“形成资产” 的完整链路。这条链路不是简单地依次点击菜单，而是分为业务归属、技术接入、采集验证和资产化四个阶段。

1、建立业务归属

来源系统
 → 智慧水库运行管理系统

来源系统先回答 “这批数据属于哪个业务系统、由谁负责”。它为后续采集到的表和字段建立统一的业务来源，也是元数据树和资产目录中的归属依据。

2、建立技术接入

数据连接
 → 数据中台原始库（ADS）
  → DM8
   → dm8-demo:5236

数据连接继续回答 “平台从哪里读取数据结构”。数据库类型、网络地址、账号和权限共同决定平台能否发现 ADS 库中的表和字段。

3、完成采集并验证结果

采集任务
 → 来源系统：智慧水库运行管理系统
 → 数据连接：数据中台原始库（ADS）
 → 采集范围：ADS
 → 调度器：Quartz
    ↓
发布任务并执行一次
    ↓
生成采集实例和运行日志
    ↓
最新元数据新增 7 条记录

这一阶段回答 “平台是否真正发现并保存了目标元数据”。不能只看任务显示成功，还要同时核对：

• 采集实例状态为成功；
• 实例中的表数量为 7；
• 首次采集的新增数量为 7；
• 最新元数据中同样显示 7 条 ADS 记录；
• 来源系统、所属库、版本号和执行时间能够相互对应。

当实例中的“新增 7”和最新元数据中的“共 7 条”一致时，才能证明采集结果已经从任务执行层进入元数据管理层。

4、把技术元数据转化为数据资产

最新元数据
 → 选择 ADS_BASIN_WATER_MONTH_REPORT_WIDE_APPEND
  → 注册数据库表资产
   → 补充表类型、数仓分层、业务分类和数据分域
    → 查看资产字段、资产预览、资产质量和资产概览
     → 发布资产

这一阶段回答 “采集到的数据是否已经具备业务含义和使用条件”。元数据记录的是数据库中有什么，数据资产则进一步补充业务分类、治理责任、字段语义和质量信息，使数据能够被业务和技术人员共同理解和使用。

最终形成完整闭环

来源系统
→ 数据连接
→ 采集任务
→ 采集实例
→ 运行日志
→ 最新元数据
→ 注册数据资产
→ 补充治理属性
→ 查看并核验资产详情
→ 发布资产

其中：

• 来源系统负责业务归属；
• 数据连接负责技术访问；
• 采集任务负责扫描范围和执行策略；
• 采集实例与日志负责证明任务实际运行；
• 最新元数据负责沉淀表和字段等技术信息；
• 数据资产负责补充业务语义、治理属性和使用依据；
• 资产发布代表数据从内部登记状态进入正式可检索、可理解和可使用的资产目录。

只有任务、实例、日志、元数据数量和资产信息都能够相互对应，才算真正完成了从数据库接入到数据资产发布的完整闭环。

常见问题

1、来源系统无法选择

先进入：

基础管理 → 来源系统

确认：

• 来源系统记录已经保存；
• 来源系统状态处于启用状态。

---

2、数据连接测试或启用失败

逐项核对：

• 数据库类型；
• IP；
• 端口；
• 账号；
• 密码；
• 数据库名称；
• Schema / 模式名称；
• 网络连通性；
• 数据库访问权限。

---

3、实例迟迟不出现

进入全局：

采集实例

刷新页面，并同时核对：

• 任务名称；
• 创建时间；
• 来源系统；
• 任务 ID；
• 执行时间。

避免把历史实例误认为当前执行实例。

---