本文为您介绍如何创建数据节点。完成创建后,您可以在 数据节点 页面,查看当前租户下的所有数据节点。节点列表支持按照数据节点名称进行筛选(支持模糊匹配),还支持按类型(文件、DB、离线)进行筛选。
创建数据节点
登录资金安全监控控制台,在左侧导航栏单击 数据节点。
在数据节点列表页,单击 新建数据节点。
在 新建数据节点 页面,填写以下基本信息:
数据节点名称:节点的名称,租户内唯一。长度为 1-100 个字符,可包含中英文、数字和下划线(_)。
创建类:支持 文件、DB、离线。一旦完成创建,该项不能修改。
描述:节点的备注信息,选填。长度为 1-500 个字符。
根据上一步选择的 创建类,进行相应的配置。
文件/DB
数据源:选择对应的数据源配置,也可通过输入数据源配置名称关键字来选择。如果尚未创建数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。
参与核对字段:需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。
说明如果有多个需要参与核对的字段,则中间用英文逗号(,)隔开。
排序字段:用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。
取数策略:可选择 每次取 1 行 或 取固定字段。
每次取 1 行:核对时从排序后的数据中两边各取一条数据,然后进行比较。
取固定字段:将值相同的数据一次取出。
重要该固定字段必须与排序字段相同。
散列字段:用于数据分片时进行散列计算的字段。当核对的数据量较大时,可选择参与核对字段的某个字段,针对某几位进行散列,读取到的数据就会按照散列后的值散列到不同分片中,支持后续并发排序和核对,从而提升核对效率。
说明散列字段可以与排序字段保持一致。
散列位数:自定义的散列位数。例如 4-6,表示取 4、5 两位。
高级配置:默认保持关闭。如果开启,则需要填写过滤表达式。
说明关于 过滤表达式,即对数据进行逐条过滤处理,支持 Groovy 语法。
是否汇总核对:默认保持关闭。如果开启,需配置相关参数(见下图)。如需配置多条,单击 新增属性 即可。
离线
离线数据源配置:选择对应的离线数据源配置,也可通过输入数据源配置名称关键字来选择。如果尚未创建离线数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。
离线表:选择用于核对的 ODPS 表。
说明ODPS 表支持模糊匹配,如果匹配不到,建议您确认项目名、表名。
配置完成后,单击 提交。
上述操作完成后,可在数据节点列表页面,看到刚创建的节点。
查看数据点详情
单击数据节点列表内数据节点名称,进入 数据节点详情 页面,即可查看数据节点详情,主要包含以下两部分内容:
基本信息(图示中 ①)
配置信息(图示中 ②)
修改数据节点
单击数据节点列表操作列的 修改,进入 修改数据节点 页面。
根据需要修改节点信息。
完成后单击 提交 保存修改。修改后的节点信息将在关联的核对点中同步生效。