采集任务
功能概览
功能定位
采集任务是元数据管理的起点，用于配置平台从哪些来源采集库、表、字段或非结构化文件等元数据信息。用户在这里维护采集来源、采集范围、调度周期、调度器和责任人，任务执行后会生成采集实例，并进一步形成最新元数据版本。
简单理解：先配置采集任务，平台才知道元数据从哪里来、按什么范围采、什么时候执行，以及由谁负责维护。
使用建议
新增采集任务时，建议按 选择来源系统和数据连接 → 配置采集范围 → 设置调度器与调度周期 → 保存任务 → 上线或执行一次 的顺序操作。首次配置完成后，可先使用【执行一次】验证任务是否能正常运行。
主要特性
- 结构化采集：支持数据库表类元数据采集，可选择整个数据库或自定义库范围。
- 非结构化采集：支持文件路径类元数据采集，适用于文档等非结构化对象。
- Quartz 轻量级调度：支持选择 Quartz 调度器，通过 Cron 表达式配置周期执行时间。
- Dolphinscheduler 企业级调度：支持选择 Dolphinscheduler 调度器，适用于需要统一调度平台、任务编排和运维管理的采集场景。
- 任务状态控制：通过任务状态和调度状态控制任务是否有效、是否按周期运行。
- 运行联动：任务执行后会生成采集实例，后续可在采集实例和最新元数据中查看结果。
作用范围
适用于 数据治理 > 元数据管理 > 采集任务 下采集任务的新增、查询、修改、启停、手动执行和详情查看。主要面向元数据管理员、数据治理运维人员和项目管理员。
前置步骤
前置条件
- 已登录 qData 平台，并具备【数据治理】相关菜单权限。
- 已准备来源系统和数据连接，结构化采集需能访问目标数据库。
- 如需采集非结构化数据，已准备文件路径来源，例如 HDFS、FTP 或 OSS。
- 已确认本次采集范围和责任人，避免任务采集范围过大或责任归属不清。
- 如需使用 Quartz 或 Dolphinscheduler 调度，已确认对应调度服务正常。
导航路径
数据治理 > 元数据管理 > 采集任务
页面总览
进入【采集任务】后，页面以任务列表为核心，支持按任务名称、创建时间查询，并提供【新增】、【删除】、刷新和列设置等操作。列表中可查看任务来源、任务状态、调度状态、调度周期、最近运行时间和负责人。
推荐操作流程
结构化元数据采集：点击【新增】 → 选择来源系统和数据连接 → 配置调度器 Quartz 或 Dolphinscheduler 与调度周期 → 配置采集范围 → 保存任务 → 上线调度或【执行一次】。
非结构化元数据采集：点击【新增】 → 选择来源系统和文件路径 → 配置调度器、调度周期和责任人 → 保存任务 → 根据需要上线或手动执行。
运行排查：从任务行点击【执行一次】或【查看采集实例】，再到采集实例页面查看执行记录和日志。
功能操作说明
新增采集任务
采集任务用于采集结构化数据库中的库、表和字段等元数据信息，也可按系统能力配置非结构化对象采集。
- 在采集任务列表点击【新增】。
- 在弹窗中选择【来源系统】和【数据连接名称】。
- 填写【任务名称】，核对系统带出的数据库类型、IP、端口号和账号等信息。
- 在【调度器】中选择 Quartz（轻量级）或 Dolphinscheduler（企业级）。
- 在【调度周期】中点击【配置】，通过 Cron 表达式设置周期。
- 选择【责任人】，并根据需要填写责任人电话、描述和备注。
- 配置【采集范围】后，点击【确定】保存。
关键字段
| 字段名 | 说明 | 是否必填 |
|---|---|---|
| 来源系统 | 选择本次元数据采集对应的业务系统或来源系统。 | 是 |
| 任务名称 | 填写便于识别和运维的采集任务名称。 | 是 |
| 数据连接名称 | 选择已配置的数据连接，系统会带出数据库类型、IP、端口号和账号等信息。 | 是 |
| 调度器 | 选择任务执行调度器，可选择 Quartz（轻量级）或 Dolphinscheduler（企业级）。 | 是 |
| 调度周期 | 配置任务周期执行时间，可通过 Cron 表达式生成器辅助生成。 | 是 |
| 责任人 | 选择任务维护人，便于运行跟踪和异常处理。 | 是 |
| 采集范围 | 选择采集整个数据库，或按自定义库范围采集。 | 是 |
Quartz 调度说明
| 配置项 | 说明 |
|---|---|
| Quartz（轻量级） | 适合平台内轻量级周期采集任务，配置简单，便于快速上线验证。 |
| Cron 表达式 | 用于定义任务周期执行时间，保存后调度状态启用时按周期触发。 |
| 执行一次 | 不依赖调度周期，可用于新增任务后的即时验证。 |
Dolphinscheduler 调度说明
| 配置项 | 说明 |
|---|---|
| Dolphinscheduler（企业级） | 适合纳入企业级调度平台统一管理的采集任务，可用于更复杂的调度、监控和运维场景。 |
| 调度周期 | 仍需配置任务的周期执行时间，保存后由调度状态控制是否按周期触发。 |
| 运维管理 | 适合对调度实例、执行状态、失败排查和任务运行链路有统一运维要求的场景。 |
配置采集范围
采集范围决定本次任务采集哪些元数据对象。范围配置越准确，后续元数据版本和变更结果越容易维护。
- 选择【整个数据库】时，任务会按当前数据连接范围采集数据库下的元数据。
- 选择【自定义库】时，可在来源库和已选来源库之间选择需要采集的库。
- 如果需要更细粒度的表级或字段级采集，请以当前系统实际展示入口为准，并在正式操作前确认采集范围。
采集范围提示
采集范围过大会增加后续版本比对和运维排查成本；采集范围过小则可能漏掉需要治理的表或字段。建议按本次治理目标选择范围。
编辑采集任务
- 在采集任务列表中定位目标任务。
- 点击操作列中的【编辑】按钮。
- 在弹窗中修改任务名称、数据连接、调度器、调度周期、采集范围、责任人等信息。
- 点击【确定】保存修改。
上线或禁用采集任务
任务保存后，可通过状态开关控制任务是否上线或按调度执行。
- 在采集任务列表中定位目标任务。
- 点击任务状态或调度状态开关。
- 系统出现确认提示后，点击【确定】。
- 页面提示成功后，任务进入可执行或可调度状态。
状态说明
任务状态用于标记任务是否有效、是否可执行；调度状态用于标记任务是否按配置的调度周期自动执行。停用后，任务不再按调度周期运行。
执行一次
【执行一次】适合在任务配置完成后进行临时验证，也适合排查调度前先确认任务是否能够正常运行。
- 在目标任务操作列点击【执行一次】。
- 系统立即发起一次元数据采集。
- 执行成功后，会生成一条采集实例记录。
- 如需查看运行结果，可进入【采集实例】页面继续排查。
查看采集实例
选择需要查看执行情况的采集任务，点击操作列中的【查看采集实例】或【执行记录】按钮，查看该任务的历史执行列表。执行记录可用于排查采集失败原因、确认采集数据量和追踪采集变更情况。
删除采集任务
- 在采集任务列表中定位需要删除的采集任务。
- 点击操作列中的【删除】按钮，或勾选记录后点击列表上方【删除】。
- 在确认提示中核对目标任务。
- 点击【确定】后删除采集任务。
正式环境中建议先停用任务，确认无影响后再删除，避免影响历史实例、最新元数据版本或后续定版结果。
常见问题
为什么任务执行后要去采集实例查看？
采集任务只负责配置和触发，执行结果、采集数量、起止时间和日志需要在【采集实例】中查看。任务状态和调度状态有什么区别？
任务状态表示任务是否有效、是否可执行；调度状态表示任务是否按配置的调度周期自动执行。什么时候使用【执行一次】？
新建任务后建议先手动执行一次，用于验证数据连接、采集范围和任务配置是否正常。Quartz 调度器适合什么场景？
Quartz 适合轻量级周期采集任务，配置简单，适用于常规元数据采集定时执行。Dolphinscheduler 调度器适合什么场景？
Dolphinscheduler 适合需要企业级调度、统一运维和更复杂任务管理的元数据采集场景。非结构化采集应该怎么选路径？
先确认文件所在来源，例如 HDFS、FTP 或 OSS，再在文件路径中选择目标路径。为什么不建议直接删除任务？
删除可能影响历史实例、最新元数据版本或后续定版结果。正式环境中建议先停用，确认无影响后再删除。
总结
采集任务决定元数据管理的起点和范围。配置时重点确认三件事：来源系统是否正确、采集范围是否准确、调度器与调度周期是否符合预期。任务执行完成后，应继续到【采集实例】和【最新元数据】中查看运行结果和元数据版本变化。