1.概述
如果您需要将Quick Tracnking中采集的埋点数据实时推送到目标地址,数据分发模块可以为您实现。
本功能当前仅支持推送实时采集推送的埋点数据,历史已经上报的数据不支持推送,已停止的任务如重新启用,停用期间的数据不可回溯。
2.操作说明
2.1功能路径
进入到Quick Tracking产品后台,点击导航菜单栏里面的管理控制台,或系统顶部右侧的螺母图标,可以管理控制台,点击「数据分发」功能进入到功能页面。
2.2 功能构成
「数据分发」功能主要由以下几个部分组成:
任务列表:任务列表包含“任务名称”、“分发方式”、“备注”、“最后一次状态更新人”、“最近一次状态更新时间”、“状态”、“操作”。
任务名称:新建任务时可根据业务需求自定义填写。
分发方式:记录新建分发任务时选择的分发通道为“SLS”或“Kafka"。
备注:非必填项,新建分发任务时可填写。
最近一次状态更新人:显示最近一次变更启动或停用的操作人账号名称。
最近一次状态更新时间:最近一次一次变更启动还是停用的时间。
状态:显示当前分发任务的运行状态「启动中」或「已停止」,在“状态”中可变更当前任务状态。提示任务是否异常。
操作:当前任务状态为「启动中」时,所有操作按钮均不可点击,如果需要操作当前任务,需要把当前任务状态变更为「已停止」。
i.编辑:点击编辑可以进入到任务编辑界面编辑任务信息。
ii.删除:状态为「启动中」的任务不可删除,状态为「已停止」的任务可以删除,任务删除后无法恢复。
2.3创建分发任务
进入「管理控制台」-「数据分发」功能页面,点击功能右上角「新建分发任务」按钮进入到创建任务界面。(注:该功能需有「管理控制台-数据分发」权限才可查看并操作该模块)
2.4新建分发任务需要填写的信息
「基础信息」
任务名称:创建时填写,可自定义任务名称。最多500个字符。
分发内容:可下拉选择分发内容,目前仅提供「原始日志」。
备注:非必填项,可自定义添加描述信息。
「分发通道配置」
分发通道配置:分配通道配置支持选择SLS及Kafka。
i.选择SLS,需填写以下内容:
1):endpoint:必填项,填写您的SLS外网地址。
2):AccesssKey ID:必填项,填写您的AccesssKey ID。
3):AccesssKey Secret:必填项,填写您的AccesssKey ID密码。
4):Project:必填项,填写您的SLS项目名称。
5):LogStore:必填项,填写日志名称。
6):高级配置:非必填,填写JSON格式的高级配置,针对SLS的配置生效。高级配置生效内容如下表:
名称 | 数值(仅能填写数字) |
memory.queue.size(内存队列个数) | 默认值为20000 ,用户可以设置 |
batchbytesize(每批次数量大小) | 默认值为2097152 ,用户可以设置 |
batch.count(每批次日志条数) | 默认值为40000 ,用户可以设置 |
queue.timeout(队列等待时间) | 默认值为5000 ,用户可以设置 |
ii.选择Kafka,需填写以下内容:
1):bootstrap.servers:必填项,填写您的Kafka broker.servers链接地址。
2):TopicName:必填项,填写Topic名称。
3):高级配置:非必填,填写JSON格式的高级配置,针对Kafka的配置生效。高级配置生效内容如下表:
名称 | 说明 |
kafka.acks | 生产者接收到多少个副本(replica)的确认后才认为消息发送成功 |
kafka.retries | 生产者在发送消息失败时,进行重试的次数 |
kafka.batch.size | 生产者在发送消息时,批量发送的消息大小。该参数的单位是字节,默认值为 16384(16KB) |
kafka.linger.ms | 生产者在发送消息时,等待更多消息加入当前批次的最大时间,单位为毫秒 |
kafka.buffer.memory | 生产者用于缓存待发送消息的可用内存大小,单位为字节。默认值为 33554432(32MB) |
kafka.max.in.flight.requests.per.connection | 生产者在没有收到服务器确认消息前,可以发送的最大未确认消息数。默认值为 5 |
thread数量(进程数量) | 进程数量默认值为2 |
batchbytesize | 每批次数量大小 |
batch.count | 每批次日志条数 |
queue.timeout | 队列等待时间 |
「分发规则」
分发规则:数据范围可选择「全部组织应用」或「选择组织」,选择「全部组织应用」时,分发数据范围为全部组织下应用生效;「选择组织应用」生效时则分发数据范围在制定的组织及应用范围生效。
选择事件:选择需要转发的事件,「全部事件」开关按钮为默认开启,开启时选择全部事件,「全部事件」为关闭时可以在展开下拉列表中选择事件。
全局筛选:可设置转发数据的全局属性规则,筛选条件仅支持“等于”,可选择多个等于值。等于值最多可设置5组*2个,等于值可批量导入。
屏蔽字段:点击输入框弹出属性选择弹窗,可以勾选设置不转发某个系统属性、全局属性、事件属性,可设置多个,建议最多设置不超过20个。
完成上述操作后,点击「确定」按钮,Quick Tracking系统自动测试连接状态,测试连接通过完成创建并启动任务(注:分发任务创建后预计15分钟内生效)
2.5 启动/停止分发任务
任务创建后默认为「启动中」状态,数据正常分发,如果您需要停止数据分发,可以点击「启动/停止」开关按钮调整任务状态。(注:切换任务状态为15分钟内生效)
2.6 编辑/删除任务
任务状态为「启动中」时,操作区无法进行编辑与删除操作。如需要进行编辑/或删除操作,可以点击「启动/停止」开关按钮调整任务状态。状态为「已停止」时可以点击编辑按钮进入任务详情页编辑操作;进行删除操作时,请确认该任务项已弃用或无效,一经删除后无法恢复。(注:任务变更后预计15分钟内生效)