查看和修改同步对象及其过滤条件

本文为您介绍如何在数据传输中查看和修改已配置的数据同步任务的同步对象,以及修改同步对象的 SQL 过滤条件。

背景信息

数据同步任务在同步过程中,满足限制条件的情况下,您可以增加或减少同步对象,以及修改同步对象的过滤条件。每一次运行的修改行为都会被记录。当增加对象任务执行完成后,会与关联的原任务合并。合并成功后,原任务正常运行,增加对象任务会自动释放。

使用限制

  • 数据同步任务处于 未启动运行中已暂停 状态时,支持增加和减少同步对象。

    重要

    对于处于 已暂停 状态的数据同步任务,如果 增量同步 步骤处于 已暂停 状态,则不支持增加同步对象。

  • 数据同步任务处于 失败 状态时,不支持增加同步对象。

  • 数据同步任务处于 修改中合并中 状态时,不支持再次修改同步对象。

  • 数据同步任务的 增量同步 步骤处于 已暂停失败 状态时,不支持增加同步对象。

  • 数据同步任务处于 已暂停失败未启动 运行中 状态时,支持修改行过滤条件。

查看同步对象

  1. 登录 OceanBase 管理控制台

  2. 在左侧导航栏,单击 数据传输 > 数据同步

  3. 数据同步 页面,单击目标任务的名称,进入该任务的详情页面。

    image.png

  4. 单击页面右上角的 查看对象,查看 同步对象修改对象记录

    • 同步对象 页签为您展示当前任务的同步对象,您还可以单击 修改对象,进行增加对象、减少对象,以及修改行过滤条件等操作。

    • 修改对象记录 页签为您展示所有修改对象操作的修改类型、状态和修改时间等信息。

增加同步对象

  1. 在目标任务的详情页面,单击右上角的 查看对象

    image.png

  2. 查看对象 对话框,单击 同步对象 > 增加对象

    image.png

  3. 增加对象 对话框中选择需要增加的同步对象。

    重要
    • 新增对象将默认继承原数据同步任务的全部配置选项。如果增加对象的过程中终止了操作,则需要手动删除目标库中已增加的对象。

    • 如果源端数据源配置了 Schema Name 或 DB Name,则仅支持增加指定 Schema Name 或 DB Name 下的同步对象。

    • 对于目标端为消息队列的数据同步任务,在 增加对象 对话框的左侧 源端对象 区域,选中需要同步的对象,单击 >,在 将对象映射至 Topic 对话框中,选择需要的映射方式进行配置。

      image.png

      选择增加的同步对象后,您可以进行更改 Topic、设置行过滤或移除对象等操作。

      image.png

    • 对于目标端为数据库的数据同步任务,在 增加对象 对话框的左侧 源端对象 区域,选中需要同步的对象,单击 >,将其添加至右侧列表中。

      image

      选择增加的同步对象后,您可以对目标端对象进行重命名、设置行过滤或移除对象等操作。

      image

  4. 选择完成后,单击 下一步

  5. 系统会自动对增加对象执行预检查。全部检查任务均通过后,单击 保存

  6. 确认无误后,在弹出框单击 确定

    • 如果任务处于已暂停或失败状态,您可以取消后重新进行修改。修改后,请先恢复数据同步任务,才能执行增加对象操作。

    • 如果任务处于运行中状态,单击保存后,将立即执行增加对象操作。

    增加对象操作开始执行后,会在 查看对象 > 修改对象记录 页面生成记录,您可以进入该页面查看记录的详细信息。

    image.png

    增加对象记录的状态包括 待执行已取消修改中、运行中已终止合并中成功失败,不同状态的增加对象记录支持的操作,以及处于运行中状态的原任务对应的状态也不同。

    说明

    原任务处于 未启动 状态时,增加对象会生成一条 成功 状态的修改记录。原任务处于 已暂停 状态时,增加对象会生成一条 待执行 状态的修改记录。

    只有原任务处于运行中的状态,增加对象记录的状态才会被推进。增加对象记录的状态推进后,原任务状态也随之更新。详情请参见下表。

    增加对象记录的状态

    支持的操作

    原任务对应的状态

    待执行

    查看详情、取消

    运行中

    已取消

    运行中

    修改中

    修改中

    运行中

    查看详情、终止

    修改中

    已终止

    查看详情

    运行中

    合并中

    查看详情

    合并中

    成功

    查看详情

    运行中

    失败

    查看详情、重试

    您还可以单击 查看原因,跳转至任务的详情页面,查看失败的原因。

    修改中/合并中

减少同步对象

  1. 在目标任务的详情页面,单击右上角的 查看对象

    image.png

  2. 查看对象 对话框,单击 同步对象 > 减少对象

    image.png

  3. 减少对象 对话框的右侧 目标端对象 区域,鼠标悬停至需要减少同步的对象,单击 移除

    image.png

    对于目标端为消息队列的数据同步任务,您还可以勾选复选框,选择多个需要移除的对象,单击 批量移除。在弹出框中,单击 确定

    image.png

  4. 单击 减少对象 对话框下方的 移除

  5. 在弹出框中确认需要移除的对象无误后,单击 确定

    如果任务处于已暂停、失败或运行中状态,单击确定后,将立即执行减少对象操作。

    重要
    • 对象减少后不可恢复,请谨慎操作。

    • 减少对象操作最终是全部成功或全部失败。

    减少对象操作开始执行后,会在 查看对象 > 修改对象记录 页面生成记录,您可以进入该页面查看记录的详情。

    image.png

    减少对象记录的状态包括 待执行已取消修改中、成功失败,不同状态的修改对象记录支持的操作,以及处于运行中状态的原任务对应的状态也不同。

    减少对象记录的状态

    支持的操作

    原任务对应的状态

    待执行

    查看详情、取消

    运行中

    已取消

    运行中

    修改中

    查看详情

    修改中

    成功

    查看详情

    运行中

    失败

    查看详情、重试

    您还可以单击 查看原因,跳转至任务的详情页面,查看失败的原因。

    修改中

修改同步对象的过滤条件

本节为您介绍通过指定对象方式选择的同步对象,在数据同步任务运行过程中,如何修改 SQL 条件来过滤数据。

  1. 在目标任务的详情页面,单击右上角的 查看对象

    image.png

  2. 查看对象 > 同步对象 页面,展开目标 Schema,将鼠标悬停至目标对象,单击显示的 设置

    image

  3. 设置 > 行过滤条件 文本框中,输入标准的 SQL 语句中的 WHERE 子句,来配置或修改行过滤。详情请参见 SQL 条件过滤数据

    image

  4. 配置完成后,单击 验证语法

  5. 通过验证后,在 设置 对话框中,单击 确定

  6. 确认修改的设置需要应用至对象后,在弹出的对话框中,单击 应用

  7. 修改记录 页面,查看修改过滤条件的进度。

    image

    您也可以单击修改设置记录后的 查看详情,在 修改设置详情 页面,将鼠标悬停至目标数据表,单击显示的 查看设置,查看修改后的行过滤条件。

    image