离线核对

本文以 离线核对 为例,引导您快速上手资金安全监控产品的主要操作链路。

总体流程如下图所示:

1

准备工作

在使用本产品前,您需要完成以下准备工作。后续步骤中用到的核对数据主要来自于数据仓库平台,因此首先需要将数据导入数据仓库平台。

说明

上述内容仅适用于公有云环境。专有云请前往实际使用的数据仓库进行数据准备工作。

步骤一:新建数据源配置

进入资金安全监控控制台后,需创建数据源配置,以便将数据源配置和数据源关联。

  1. 登录资金安全监控控制台,在左侧导航栏上,单击 数据资源配置

  2. 数据源配置 页面上,单击 新建数据源配置

  3. 新建数据源配置 页面上,完成以下数据源配置。

    • 数据源配置名称:数据源配置的名称,租户内唯一。本例中输入“odps_risk_fundcheck”。

    • 类型:支持 OSSFTPDB离线 四种类型本例中选择 离线

    • 访问授权信息:需填写 accessKeyIdaccessKeySecretendPointproject(本例中输入“risk_fundcheck”)。

      说明

      关于 accessKeyIdaccessKeySecret 的获取方式,请参见 获取AccessKey

  4. 配置完成后,单击 授权。

    上述操作完成后,可在数据源配置列表页面,看到刚创建的数据源配置。

步骤二:新建数据节点

为了统一管理资金业务表,便于其他用户识别、引用,您可以将待检查的资金业务表定义为数据节点。

  1. 在左侧导航栏上,单击 数据节点,进入 数据节点 页面。

  2. 单击 新建数据节点,在 新建数据节点 页面上,填写以下信息:

    • 数据节点名称:节点的名称,租户内唯一。本例中输入“Demo_数据节点”。

    • 创建类:支持 文件DB离线。本例中选择 离线

    • 描述:选填,节点的备注信息,最大长度为 500 个字符。

    • 离线数据源配置:选择 odps_risk_fundcheck

    • 离线表:选择用于核对的 ODPS 表(即选择 DataWorks 中通过数据采集在线表得到的离线表),例如“apply_order_delta”。

  3. 单击 提交 完成数据节点的创建。

    上述操作完成后,可在数据节点列表页面,看到刚创建的节点 Demo_数据节点

步骤三:新建核对点

核对点用于进行资金业务表或表与表之间的核对检查,找到异常数据。

  1. 在左侧导航栏上,单击 核对点列表

  2. 单击 新建核对点,进入 新建核对点 页面。

  3. 新建核对点 页面中,填写以下信息。

    • 基本信息

      • 核对点名称:核对点的名称,租户内唯一。本例中为“Demo_核对点”。

      • 核对场景:选择某一选定的核对场景。如果尚未创建核对场景,可单击右侧的 新建核对场景。详情请参见 创建核对场景

      • 描述:选填,核对点的备注信息,长度不能超过 500 个字符。

      • 负责人:在租户下本产品的用户名单中选择,可选多人。

    • 核对配置

      • 核对方式:支持 文件-文件文件-DBDB-DB 离线。本例中选择 离线。

      • 数据节点:在已创建的数据节点中选择,可选多个。本例中选择 Demo_数据节点。

      • 核对类型:选择执行周期,提供 小时核对天核对 两种选项。本例中选择默认值 天核对

      • 延迟执行时长:指定每个周期的核对执行时间,默认值为 6 小时。

  4. 配置完成后,单击 提交。

步骤四:新建核对规则

资金安全监控基于规则进行资金业务表之间的核对检查,要执行核对任务,需要先创建规则。

  1. 在左侧导航栏上,单击 核对点列表

  2. 进入 核对点列表 页面后,单击已创建的核对点名称,本例中为 Demo_核对点

  3. 进入 核对点详情 页面,单击页面下方的 新建核对规则 按钮。

  4. 新建核对规则 页面,填写如下配置信息:

    • 规则名称:核对规则的名称,租户内唯一。

    • 描述:规则的备注信息,最大长度为 500 个字符。

    • 节点信息:数据节点的信息。

    • 规则文本:规则的核对逻辑,按 SQL 语法编写(一般采用日期字段包含宏的格式,且需带有分区信息 dthh 或其他分区字段,便于周期性获取相应时间值),即在数据节点(也就是离线表)之间关联 JOIN,指定不符合核对预期的条件,以便过滤异常数据。本例中输入:

        SELECT * FROM ( SELECT * FROM apply_order_delta WHERE dt ='{yyyymmdd-1}' ) a LEFT JOIN ( SELECT * FROM deduct_record_delta WHERE ds ='{yyyymmdd-2}' ) b on a.biz_no = b.biz_no where a.biz_amount <> b.fee_amount ; --过滤订单表和账单表中交易金额不等的异常数据
  5. 填写完上述信息后,单击 提交 即可完成核对规则的创建。

  6. (可选)对 SQL 进行 全屏调试,确保规则文本的准确性。

    image

步骤五:上线核对点

仅状态为 已上线 的核对点才会进行监控,即周期性地运行核对任务,并在发现差异数据时创建异常。

说明

仅核对点负责人才拥有上下线权限。

  1. 进入 核对点详情 页面,单击右上方 上线

  2. 核对点进入发布验证,状态变为 上线中。核对点成功上线后,核对点状态将变为 已上线。成功上线后,将按照指定的延迟执行时长,周期性执行核对任务,具体执行情况可在 核对点详情 页面的运行记录中查看。

    1

步骤六:发现并处理异常

当核对点上线运行发现异常时,系统会按照核对规则粒度创建异常,记录在 异常列表 页面中。

说明

如果您 订阅 了核对点“执行发生异常告警”的通知内容,当异常创建时,系统会给您发送消息通知。

  1. 在左侧导航栏上,单击 异常列表,进入 异常列表 页面。

  2. 选择要处理的异常,单击其 ID,进入 异常详情 页面。

  3. 差异数据 页面,单击 详情 查看异常详情数据,进行相应排查。

    1

  4. 单击 关闭异常 按钮,在 关闭异常 面板上填写如下信息,并单击 提交

    • 是否误报

      • 误报:例如 SQL 错误、数据错误或系统异常等,导致与核对预期不符的情况。

      • 非误报:判定后确定是异常现象。

    • 是否资损

      • 有资损:根据异常数据排查问题并分析原因,确定发生资金损失。

      • 无资损:未出现资金损失。

    • 异常原因描述:长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因,便于后续复盘,也可以方便其他用户了解异常的原因。