在数据迁移过程中,如果迁移速度过快可能会导致目标集群负载过高,影响系统性能。此外,速度过快还可能会增加网络延迟造成数据丢失,无法保证数据的完整性。为了避免系统过载并确保数据的一致性,您可以通过LTS控制台对迁移任务进行限速。
背景信息
LTS会将迁移、同步任务拆分为多个线程任务由Worker节点执行,因此,总限速的计算方式为:单个线程任务的限速 * 每个Worker的线程数 * Worker节点总数
。
Worker节点总数为您购买LTS时选择的LTS节点数量。您可以通过LTS控制台查看Worker节点总数,具体请参见查看Worker节点总数。
前提条件
已检查源集群、目标集群、LTS的网络连通性。
已添加Lindorm数据源。如何添加,请参见添加Lindorm宽表数据源。
注意事项
迁移前请确认目标实例的HDFS容量,确保可用容量足以支撑数据迁移,避免迁移过程中出现容量已满导致任务失败的情况。
查看Worker节点总数
在左侧导航栏,单击集群信息。
在基本信息区域,查看Worker节点总量。您也可以在worker节点信息区域,查看当前实例的Worker节点的详细信息。
全局配置
您可以通过全局配置限速所有历史数据迁移任务,也可以在创建迁移任务时通过配置高级参数来对单个任务进行限速。
在页面右上角,单击配置管理。
在配置管理页面,修改以下配置项的现有值:
bds.full.reader.bandwidth:单个线程任务的最大带宽。单位为Byte/s。
bds.full.task.pool.size:每个Worker节点可处理的线程任务数量。单位为个。
单击左下角的修改,保存配置。
限速单个迁移任务
您可以从以下两个方面对单个迁移任务进行限速:
单个线程任务的最大带宽:需在创建迁移任务时通过高级参数进行配置。配置后仅对该任务生效,优先级大于全局配置。
每个Worker处理的线程数:全局配置,必须通过配置管理修改。
限速单个线程任务的最大带宽
在LTS控制台的左侧导航栏,选择
。单击创建任务。
填写并勾选相关参数:源集群、目标集群、表结构迁移、同步/迁移的表。
在高级配置填写限速参数bandWidth。bandWidth的单位为Byte/s。例如想要限速最大带宽为10 MB/s,则需填写
{"bandWidth": 10485760}
。单击创建,创建任务并保存配置。
限制每个Worker处理的线程数
每个Worker节点可处理的线程任务数量(bds.full.task.pool.size)不支持通过具体任务的高级配置进行设置,必须通过配置管理修改。具体操作如下:
在LTS控制台的右上角,单击配置管理。
在配置管理页面,修改bds.full.task.pool.size的现有值。
单击修改,保存配置。