分钟统计/多 Key

本文以添加 分钟统计/多 Key 为例,介绍如何快速配置自定义监控。

背景信息

分钟统计/多 Key 是统计 N 个维度的 N 个 Key 业务量每分钟的数据,如统计系统各个接口分别被调用的总量。通过配置日志的 Group By 维度,统计各维度各 Key 数据,等同于 SQL 中 Group By 的功能。

更多监控类别应用场景,请参见 监控类型概述

配置自定义监控主要包括如下的步骤:

  1. 选择监控产品

  2. 填写基本信息

  3. 配置日志筛选

  4. 设置列值分组

  5. 选择统计方式

  6. 配置告警

  7. 配置诊断

一、选择监控产品

  1. 进入控制台,单击左侧导航栏中的 自定义监控

  2. 自定义监控 页面,单击 新增

  3. 常用 标签页下,单击 分钟统计/多 Key,进入分钟统计/多 Key 监控产品配置页面。

二、填写基本信息

基本信息 区域中,配置以下信息:

  • 监控配置名:输入自定义的监控配置名称。

  • 所属应用:选择该监控产品所属的应用名称。

  • 采集日志文件:选择日志文件。提供以下采集日志的方式:

    • 扫描路径:如果列表中没有需要的日志文件,完成以下步骤。默认 扫描路径 方式:

      1. 单击 扫描路径 打开 选取采集文件 页面。该页面显示两个系统默认的文件路径。

      2. 双击路径名打开进行日志文件选取。如果默认的文件路径中,没有找到需要的路径,填写 指定根目录指定服务器 IP 来查找需要的日志文件。查找时,只需要填写 指定根目录指定服务器 进行查找。

      3. 单击选中需要的日志文件名,单击 确认,完成日志文件选取。

    • 手动填写日志路径:手动填写日志路径。注意路径规则。

  • 生效开关:选择是否开启 生效开关,默认开启。

  • (可选)单击 高级选项,配置如下信息:

    • 日志编码:编码为系统自动识别的,一般支持 GBK、UTF-8 等。当有编码不识别时,可以在此处配置填写。

    • 集群日志限制流量 :集群日志流量限值,单位为 KB/Min。每分钟采集日志达到上限后会放弃剩余日志,导致数据不准。

    • 日志路径软链接部分注明:例如 /home/admin/logs。如果手动填写的日志文件路径中含有软链接部分,请注明。

    • 存储容量上限:选择容量上限。

    • 报表 Key 数量上限:超过上限的 key 将被丢弃。

三、配置日志筛选

日志筛选 提供 新增白名单筛选新增黑名单筛选 两种方式进行日志关键字筛选:

  • 白名单 相当于 SQL 里的 [Where Field =?] 语义。

  • 黑名单 相当于 SQL 里的 [Where Field < >?] 语义。

默认关闭。如需筛选日志关键字,可开启日志筛选开关。以新增白名单筛选规则为例,完成以下步骤:

  1. 单击 新增白名单筛选,新增一条白名单筛选列。

  2. 白名单筛选列,单击 选取列值

  3. 日志筛选 对话框,配置白名单筛选列的位置。

    日志筛选 提供 新增白名单筛选新增黑名单筛选 两种方式进行日志关键字筛选:

    • 白名单 相当于 SQL 里的[Where Field =?]语义。

    • 黑名单 相当于 SQL 里的[Where Field < >?]语义。

  4. 用鼠标在日志样本中选中目标一个关键词,系统会根据该关键词的位置自动生成一个 列值选取规则,并在下方的列值采样表格中显示根据这一选取规则采样得到的列值。

    列定义
  5. 在最下方填入列名,单击 提交,完成白名单列的选取。

    说明
    • 若要进行一些方便的统计归类,以及编码与名称的映射,可使用 列值翻译 功能。

    • 当翻译量较大时,可以将之前配置过的类似翻译规则转化为脚本并复制到当前脚本配置框中,根据具体情况进行调整。

  6. 填写 白名单值

    说明

    同一个列值位的白名单,支持多个值的选取,可以用逗号(,) 分隔,如 aaaa,bbbb,cccc。多个 白名单筛选列 之间的关系为 。如果填入多个值,如 A,B,白名单筛选是要 A 或 B,黑名单筛选是不要 A 和 B。

四、设置列值分组

列值分组即数据的 group by,指明最终生成的数据按什么做分组,RMS 目前支持按 label 分组,即按运维维度做 group by。例如,按机房 IDC 做分组。

说明

列值分组 Group By 中必须配置一个维度,分组列可配多列。

您可以直接勾选运维维度列作为分组列,若需要自定义分组列,单击 新增分组列 > 选取,在弹出的 日志筛选 弹框中定义列值选取规则。

用鼠标在日志样本中选中一个目标关键词,系统会根据该关键词的位置自动生成一个列值选取规则,并在下方的列值采样表格中显示根据这一选取规则采样得到的列值。

五、选择统计方式

分钟统计/无 Key 产品提供以下统计方式对日志进行计算:

  • 求行数:单位时间内的日志行数。

  • 对列值求平均:需选取计算数值维度,如耗时、金额等。

  • 对列值求和:需选取计算数值维度,如耗时、金额等。

  • 对列值求最大值:需选取计算数值维度,如耗时、金额等。

  • 对列值求最小值:需选取计算数值维度,如耗时、金额等。

本步骤中,选择 求行数 进行计算。

六、配置告警

告警配置 指设置一定的告警规则,可通过手机短信方式接收故障告警。实时监控提供可视化告警配置,支持多种告警统计规则、支持多条件多套告警配置、并可按不同时间段设置预警。

  1. 单击 新增告警套餐。 告警规则开关默认开启。

  2. 单击 增加告警规则

  3. 列值筛选 列的输入框中,配置列值取值。

    列值筛选 提供 白名单黑名单 两种方式进行列值关键字筛选,所有 Key 需统一规则时,列值筛选填写 *

    • 白名单 相当于 SQL 里的[Where Field =?]语义。

    • 黑名单 相当于 SQL 里的[Where Field < >?]语义。

  4. 单击 新增触发条件,配置取值方式(即告警规则的计算统计方式)、对比方法、各类告警渠道的阈值。

  5. 如需多个触发条件,可单击 新增触发条件 进行配置。如果设有多个触发条件,需选择 满足全部条件触发 还是 满足任意条件触发

  6. 设置 告警等级检测频率,并根据实际情况确定是否要 自定义告警时区。告警等级会在 总览 页面的 监控告警 区域中做分类统计,同时告警文案中会显示告警指标的等级标注。

    说明

    实时监控提供 红色告警、橙色告警(P1)普通告警(P2)普通告警(P3)普通告警(P4)五种等级。在本步骤中,选取默认等级 普通告警(P2)

    告警套餐配置
  7. 如需配置多条告警规则,重复上述步骤即可。

  8. 配置完毕后,单击 提交 完成该自定义监控产品的配置,并生成一个数据源。

七、配置诊断

当上述步骤完成,监控产品已经基本配置完成。单击所配置的监控产品,可进入可视化监控详情页面。单击右上角 配置诊断助手 可以对上述步骤的配置进行诊断,主要诊断反馈包括:

  • 问题原因

  • 诊断结果

  • 处理建议