采集任务
定义
采集任务用于配置和执行元数据采集作业,支持从数据源、数据库、数据表、字段等对象中自动抽取结构信息、属性信息和变更信息,并将采集结果沉淀到元数据管理模块中,为元数据查询、资产盘点、血缘分析和治理评估提供基础数据。
核心能力:
- ✅ 任务管理:支持新增、编辑、删除、启用、禁用、执行一次等采集任务操作;
- 🗂️ 数据源选择:支持选择已接入的数据源作为元数据采集对象;
- 🔍 采集范围配置:可按库、表、字段等粒度配置采集范围,避免无关对象重复采集;
- ⏱️ 调度执行:支持按业务需要配置调度周期,定期同步元数据变化;
- 📋 执行记录:记录每次采集的执行时间、执行状态、采集结果和异常信息;
- 🔗 治理联动:采集结果可用于元数据查询、资产识别、字段标准映射等治理场景。
注意事项
采集任务执行前需确保数据源连接正常,并授予必要的元数据读取权限。对于表数量较多或结构复杂的数据源,建议合理配置采集范围和调度周期,避免对源库造成额外压力。
作用范围
面向数据治理人员、数据管理员和平台运维人员,用于统一配置元数据采集任务,自动同步数据源结构与字段信息。适用于数据资产盘点、数据目录建设、元数据检索、数据血缘分析和数据标准落标等治理场景。
1、采集任务页面
点击【数据治理】->【元数据管理】下的【采集任务】,进入采集任务页面。页面展示采集任务列表,通常包含任务名称、数据源类型、数据源名称、采集范围、任务状态、执行策略、最近执行时间、最近执行状态等字段。

2、新增采集任务
点击页面中的【新增】按钮,在弹出框中填写采集任务基本信息,选择需要采集的数据源,并配置采集范围、执行策略和调度周期。调度器可选择:Quartz(轻量级)或Dolphinscheduler(企业级)。确认信息无误后点击【确定】按钮,完成采集任务新增。

3、编辑采集任务
选择需要调整的采集任务,点击操作列中的【编辑】按钮,在弹出框中修改任务名称、采集范围、调度周期等信息,并点击【确定】按钮保存修改。

4、删除采集任务
选择需要删除的采集任务,点击操作列中的【删除】按钮,并在确认提示中点击【确定】。删除后,该采集任务将不再执行。

5、启用/禁用采集任务
选择需要启用或禁用的采集任务,在任务状态列中点击【开关】按钮,即可完成启用或禁用操作。禁用后的任务不会按调度周期自动执行。

6、执行一次
选择需要立即执行的采集任务,点击操作列中的【执行一次】按钮,系统将立即发起一次元数据采集,并在执行完成后更新最近执行状态和采集结果。

7、查看采集实例
选择需要查看执行情况的采集任务,点击操作列中的【执行记录】按钮,查看该任务的历史执行列表。执行记录可用于排查采集失败原因、确认采集数据量和追踪采集变更情况。

