本文以 文件核对 为例,引导您快速上手资金安全监控产品的主要操作链路。
总体流程如下图所示:
步骤一:新建数据源配置
进入资金安全监控控制台后,需创建数据源配置,以便将数据源配置和数据源关联。
登录资金安全监控控制台。
在左侧导航栏上,单击 数据资源配置。
在 数据源配置 页面,单击 新建数据源配置。
在 新建数据源配置 页面,完成以下数据源配置。
数据源配置名称:数据源配置的名称,租户内唯一。本例中输入“Demo_数据源配置”。
类型:支持 OSS、FTP、DB、离线 四种类型。本例中选择 OSS。
访问授权信息:需填写 accessKeyId、accessKeySecret、bucketName 和 endpoint。
说明关于 accessKeyId 和 accessKeySecret 的获取方式,请参见 获取 AccessKey。
配置完成后,单击 授权。
上述操作完成后,可在数据源配置列表页面,看到刚创建的数据源配置。
步骤二:新建数据源
在左侧导航栏上,单击 数据源。
在 数据源 页面,单击 新建数据源。
在 新建数据源 页面,输入以下配置信息:
数据源名称:数据源的名称。租户内唯一。本例中输入“Demo_数据源”。
创建类:提供 文件 和 DB 两个选项。本例中选择 文件。
文件类型:提供 OSS 和 FTP 两个选项。本例中选择 OSS。
文件路径:文件存放路径,支持正则表达式。本例中输入“test/file.txt”。
数据源配置:选择 Demo_数据源配置。如果尚未创建数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。
文件属性:可选择 表格按行录入 或 JSON 导入。本例中选择 表格按行录入。
文件编码:文件编码类型,支持 UTF-8 和 GBK。
文件协议:用于定义文件的解析方式,目前支持 SP、DE 和 FUND 三种类型。
SP:简单协议布局模板(Simple Protocol)。
DE:蚂蚁集团自主提供的一种文件交互格式。
FUND:国标基金数据协议。
分隔符:字段间的分隔符。
字段:配置以下参数。如需配置多条,单击 新增属性 即可。
配置完毕后,单击 提交 完成创建。
重复上述步骤 1-4 再创建一个数据源,本例中为“Demo_数据源 2"。
步骤三:新建数据节点
为了统一管理资金业务表,便于其他用户识别、引用,您可以将待检查的资金业务表定义为数据节点。
在左侧导航栏上,单击 数据节点。
单击 新建数据节点,在 新建数据节点 页面上,填写以下信息:
数据节点名称:节点的名称,租户内唯一。本例中输入“Demo_数据节点”。
创建类:支持 文件、DB、离线。本例中选择 文件。
描述:节点的备注信息,选填。长度为 1-500 个字符。
数据源:选择 Demo_数据源。如果尚未创建数据源配置,可单击右侧的 新建数据源 来创建。
参与核对字段:需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。
说明如果有多个需要参与核对的字段,则中间用英文逗号(,)隔开。
排序字段:用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。
取数策略:可选择 每次取 1 行 或 取固定字段。
散列字段:用于数据分片时进行散列计算的字段。可以与排序字段保持一致。
散列位数:自定义的散列位数。
高级配置:默认保持关闭。
是否汇总核对:默认保持关闭。
配置完成后,单击 提交。
重复上述步骤 1-4 再创建一个数据节点,本例中为“Demo_数据节点 2”。
上述操作完成后,可在数据节点列表页面,看到刚创建的节点 Demo_数据节点、Demo_数据节点 2。
步骤四:新建核对点
核对点用做进行资金业务表或表与表之间的核对检查,找到异常数据。
在左侧导航栏上,单击 核对点列表。
单击 新建核对点,进入 新建核对点 页面。
在 新建核对点 页面填写以下信息。
基本信息:
核对点名称:核对点的名称,租户内唯一。本例中为“Demo_核对点”。
核对场景:选择某一选定的核对场景。如果尚未创建核对场景,可单击右侧的 新建核对场景。详情请参见 创建核对场景。
描述:选填,核对点的备注信息,长度不能超过 500 个字符。
负责人:在租户下本产品的用户名单中选择,可选多人。
核对配置:
核对方式:支持 文件-文件、文件-DB、DB-DB 和 离线。本例中选择 文件-文件。
文件 1:用于核对的数据节点,选择 Demo_数据节点 。
文件 2:用于核对的数据节点。选择 Demo_数据节点 2。
重要文件 2 所选的数据节点不能与 文件 1 所选的数据节点相同。
文件属性映射:配置属性参数(见下图)。如需配置多条,单击 新增属性 即可。
触发条件:支持 定时任务 和 OpenAPI。本例中选择 定时任务。
定时任务:事件触发规则执行的周期,本例中输入
0 0 16 * * ?
,表示每天 16 点触发。执行日历:默认按 自然日 执行规则。
延迟告警(分钟):在定时任务设置的时间点开始执行规则,如果在延迟告警配置的时长内没有执行完成,则触发告警通知。本例中选择 300 分钟。
配置完成后,单击 提交。
步骤五:新建核对规则
资金安全监控基于规则进行资金业务表之间的核对检查,要执行核对任务,需要先创建规则。
在左侧导航栏上,单击 核对点列表。
进入 核对点列表 页面后,单击已创建的核对点名称,本例中为 Demo_核对点。
进入 核对点详情 页面,单击页面下方的 新建核对规则 按钮。
在 新建核对规则 页面,填写如下配置信息:
基本信息
规则名称:核对规则的名称,租户内唯一。本例中输入“Demo_核对规则”。
核对方式:支持 明细核对、汇总核对、自校验核对 三种方式。
明细核对:端到端明细一一核对。
汇总核对:针对统计字段做汇总核对。
自校验核对:单文件针对文件头和文件体对应字段做汇总核对。
描述:规则的备注信息,选填,最大长度为 500 个字符。
核对配置
节点信息:展示数据节点的信息。
规则表达式:需配置相关参数(见下图)。如需配置多条,单击 添加一行 即可。
高级配置:默认保持关闭。
填写完上述信息后,单击 提交 即可完成核对规则的创建。
(可选)对创建的核对规则执行 全屏调试,确保规则文本的准确性。
步骤六:上线核对点
仅状态为 已上线 的核对点才会进行监控,即周期性地运行核对任务,并在发现差异数据时创建异常。
仅核对点负责人才拥有上下线权限。
进入 核对点详情 页面,单击右上方 上线。
核对点进入发布验证,状态变为 上线中。核对点成功上线后,核对点状态将变为 已上线。成功上线后,将按照指定的延迟执行时长,周期性执行核对任务,具体执行情况可在 核对点详情 页面的运行记录中查看。
步骤七:发现并处理异常
当核对点上线运行发现异常时,系统会按照核对规则粒度创建异常,记录在 异常列表 页面中。
如果您 订阅 了核对点“执行发生异常告警”的通知内容,当异常创建时,系统会给您发送消息通知。
在左侧导航栏上,单击 异常列表,进入 异常列表 页面。
选择要处理的异常,单击其 ID,进入 异常详情 页面。
在 差异数据 页面,单击 详情 查看异常详情数据,进行相应排查。
单击 关闭异常 按钮,在 关闭异常 面板上填写如下信息,并单击 提交。
是否误报:
误报:例如 SQL 错误、数据错误或系统异常等,导致与核对预期不符的情况。
非误报:判定后确定是异常现象。
是否资损:
有资损:根据异常数据排查问题并分析原因,确定发生资金损失。
无资损:未出现资金损失。
异常原因描述:长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因,便于后续复盘,也可以方便其他用户了解异常的原因。