数据源配置管理
您可以在产品中添加多种不同类型的数据源配置,每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置,当前支持如下类型的数据源配置:
OSS:OSS 文件系统的读取配置,需要您输入访问信息,endpoint 和 bucket 信息等。
FTP:从 FTP 系统中读取文件的配置,需要您输入 FTP 服务器访问信息。
DB:从 DB 中读取数据的配置,需要您输入数据库访问配置信息,建议使用备库来进行核对。
离线:离线数据仓库访问的配置信息。
数据源管理
您可以在产品中添加多种不同类型的数据源,每个数据源代表一个核对系统在后续核对工作中可以用来读取数据的来源,当前支持如下类型的数据源:
文件:指定一个可以从 OSS、FTP 数据源配置中读取的文件,配置字段分割,解码方式等信息。
DB:指定一个可以从 DB 数据源配置中访问的 DB 表信息、配置分库分表、关联表信息等,也支持通过 SQL 直接筛选数据。
数据节点管理
您可以通过新建数据节点来添加和管理不同类型的核对数据节点,可以完成如下的映射:
将离线数据库中的一张表映射为一个核对数据节点,通过为数据节点添加名称以及关联核对点来更方便地进行核对数据节点的管理。
将文件映射为一个核对数据节点,给出文件中需要参与核对的字段,排序和散列等信息。
将数据库表映射为一个核对数据节点,给出表中需要参与核对的字段,排序和散列等信息。
所有在后续核对中需要使用到的文件,DB 表和离线表都应该被创建为核对点。
核对点管理
您可以通过创建核对点的方式来实现对待核对数据模型的管理。通过向核对点中添加多个节点,并在核对点中创建对应的核对规则来维护一个完整的核对模型。在核对点中,可以关联对应的核对场景,指定负责人,核对类型和延迟执行时长。
针对同一个数据模型(例如:从订单表到交易表的核对)所创建的核对规则,都应该被放到一个核对点中进行管理,方便后续的维护工作。
在创建核对点时需要选择该核对点所支持的核对类型,当前支持如下几种核对类型:
文件到文件核对:在文件和文件之间进行数据比对核对。
文件到 DB 核对:在文件和 DB 数据之间进行对比核对
DB 到 DB 核对:在 DB 表和表之间进行对比核对。
离线核对:通过在离线数据中执行 SQL 核对规则来进行数据校验。
核对规则管理
您可以通过创建规则,来进行资金业务表之间的核对检查。规则负责人可以对规则进行编辑、下线、上线等操作,当规则为已上线状态时,系统会根据该规则设定的核对频率,进行周期性检查。您可以查看每个周期的核对运行情况。
核对模板管理和核对模板导入
您可以通过创建核对模板的方式来实现核对数据模型的重用。例如:在不同业务中可能都牵涉到汇总表和流水表的核对,我们可以创建对应的核对模板和规则,在不同业务中进行导入重用。
创建核对模板的方式和创建核对点的方式基本一致,在核对模板下,也一样可以添加对应的规则。
在创建核对点的时候,可以选择通过导入核对模板的方式来实现重用。在导入时,需要对数据节点进行替换,更改核对规则名称。导入完成后,对应的规则和数据节点都会被自动添加到对应的数据节点中。
核对场景
在核对平台中,您可以手工添加和维护核对场景并在创建核对点的时候指定核对场景。通过这种方式来实现对核对节点的分类维护。
核对场景支持父子节点的管理,来实现对多级业务的映射。
通知订阅
您可以订阅某个规则的状态、异常、任务相关通知,指定通知方式及通知对象。
核对异常告警
当系统发现差异数据,并创建异常事件时,会通过短信、邮件、平台告警的方式通知您。
查看差异数据
您可以查看一次核对任务运行时发现的差异明细数据,一次最多展示 10 条抽样的差异明细数据。
关闭异常
您可以对异常事件记录原因,便于后续复盘。定位原因并解决问题后,您可以关闭异常来更新异常的状态,便于相关人员知晓异常的处理进展。
批量关闭误报的异常
因规则 SQL 不合理,或业务跨分区导致未核对到完整业务数据时,可能会是误报异常。您可以在异常列表页中勾选多个异常事件,点击批量关闭,标记误报并备注信息。
误报:指因为 SQL 错误、数据错误、或系统异常等原因导致的和规则预期不符的情况。
非误报:指系统发现的差异数据确实为异常现象,符合规则预期的情况。