数据分发

1.概述

如果您需要将Quick Tracnking中采集的埋点数据实时推送到目标地址,数据分发模块可以为您实现。

说明

本功能当前仅支持推送实时采集推送的埋点数据,历史已经上报的数据不支持推送,已停止的任务如重新启用,停用期间的数据不可回溯。

2.操作说明

2.1功能路径

进入到Quick Tracking产品后台,点击导航菜单栏里面的管理控制台,或系统顶部右侧的螺母图标,可以管理控制台,点击「数据分发」功能进入到功能页面。image.png

2.2 功能构成

「数据分发」功能主要由以下几个部分组成:

任务列表:任务列表包含“任务名称”、“分发方式”、“备注”、“最后一次状态更新人”、“最近一次状态更新时间”、“状态”、“操作”。

  • 任务名称:新建任务时可根据业务需求自定义填写。

  • 分发方式:记录新建分发任务时选择的分发通道为“SLS”或“Kafka"。

  • 备注:非必填项,新建分发任务时可填写。

  • 最近一次状态更新人:显示最近一次变更启动或停用的操作人账号名称。

  • 最近一次状态更新时间:最近一次一次变更启动还是停用的时间。

  • 状态:显示当前分发任务的运行状态「启动中」或「已停止」,在“状态”中可变更当前任务状态。提示任务是否异常。

  • 操作:当前任务状态为「启动中」时,所有操作按钮均不可点击,如果需要操作当前任务,需要把当前任务状态变更为「已停止」。

i.编辑:点击编辑可以进入到任务编辑界面编辑任务信息。

ii.删除:状态为「启动中」的任务不可删除,状态为「已停止」的任务可以删除,任务删除后无法恢复。image.png

2.3创建分发任务

进入「管理控制台」-「数据分发」功能页面,点击功能右上角「新建分发任务」按钮进入到创建任务界面。(注:该功能需有「管理控制台-数据分发」权限才可查看并操作该模块)

image.png

2.4新建分发任务需要填写的信息

「基础信息」

  • 任务名称:创建时填写,可自定义任务名称。最多500个字符。

  • 分发内容:可下拉选择分发内容,目前仅提供「原始日志」。

  • 备注:非必填项,可自定义添加描述信息。image.png

「分发通道配置」

分发通道配置:分配通道配置支持选择SLS及Kafka。

i.选择SLS,需填写以下内容:

1):endpoint:必填项,填写您的SLS外网地址。

2):AccesssKey ID:必填项,填写您的AccesssKey ID。

3):AccesssKey Secret:必填项,填写您的AccesssKey ID密码。

4):Project:必填项,填写您的SLS项目名称。

5):LogStore:必填项,填写日志名称。

6):高级配置:非必填,填写JSON格式的高级配置,针对SLS的配置生效。高级配置生效内容如下表:

名称

数值(仅能填写数字)

memory.queue.size(内存队列个数)

默认值为20000 ,用户可以设置

batchbytesize(每批次数量大小)

默认值为2097152 ,用户可以设置

batch.count(每批次日志条数)

默认值为40000 ,用户可以设置

queue.timeout(队列等待时间)

默认值为5000 ,用户可以设置

image.png

ii.选择Kafka,需填写以下内容:

1):bootstrap.servers:必填项,填写您的Kafka broker.servers链接地址。

2):TopicName:必填项,填写Topic名称。

3):高级配置:非必填,填写JSON格式的高级配置,针对Kafka的配置生效。高级配置生效内容如下表:

名称

说明

kafka.acks

生产者接收到多少个副本(replica)的确认后才认为消息发送成功

kafka.retries

生产者在发送消息失败时,进行重试的次数

kafka.batch.size

生产者在发送消息时,批量发送的消息大小。该参数的单位是字节,默认值为 16384(16KB)

kafka.linger.ms

生产者在发送消息时,等待更多消息加入当前批次的最大时间,单位为毫秒

kafka.buffer.memory

生产者用于缓存待发送消息的可用内存大小,单位为字节。默认值为 33554432(32MB)

kafka.max.in.flight.requests.per.connection

生产者在没有收到服务器确认消息前,可以发送的最大未确认消息数。默认值为 5

thread数量(进程数量)

进程数量默认值为2

batchbytesize

每批次数量大小

batch.count

每批次日志条数

queue.timeout

队列等待时间

image.png

「分发规则」

  • 分发规则:数据范围可选择「全部组织应用」或「选择组织」,选择「全部组织应用」时,分发数据范围为全部组织下应用生效;「选择组织应用」生效时则分发数据范围在制定的组织及应用范围生效。image.png

  • 选择事件:选择需要转发的事件,「全部事件」开关按钮为默认开启,开启时选择全部事件,「全部事件」为关闭时可以在展开下拉列表中选择事件。

  • 全局筛选:可设置转发数据的全局属性规则,筛选条件仅支持“等于”,可选择多个等于值。等于值最多可设置5组*2个,等于值可批量导入。image.png

  • 屏蔽字段:点击输入框弹出属性选择弹窗,可以勾选设置不转发某个系统属性、全局属性、事件属性,可设置多个,建议最多设置不超过20个。image.png

  • 完成上述操作后,点击「确定」按钮,Quick Tracking系统自动测试连接状态,测试连接通过完成创建并启动任务(注:分发任务创建后预计15分钟内生效)

2.5 启动/停止分发任务

任务创建后默认为「启动中」状态,数据正常分发,如果您需要停止数据分发,可以点击「启动/停止」开关按钮调整任务状态。(注:切换任务状态为15分钟内生效)image.png

2.6 编辑/删除任务

任务状态为「启动中」时,操作区无法进行编辑与删除操作。如需要进行编辑/或删除操作,可以点击「启动/停止」开关按钮调整任务状态。状态为「已停止」时可以点击编辑按钮进入任务详情页编辑操作;进行删除操作时,请确认该任务项已弃用或无效,一经删除后无法恢复。(注:任务变更后预计15分钟内生效)