导出离线日志(公测中)

为满足用户对原始日志数据进行加工和个性化展现分析的需求,移动分析服务(MAS)支持将客户端上传的埋点日志数据以离线方式导出,即从 mPaaS 的 ODPS(Open Data Processing Service)表导出到用户的 ODPS 表中。

目前,MAS 提供每日例行导出和手动补数据两种导出方式。

  • 每日例行导出:通过定时任务,每日凌晨将源数据表同步到指定的目标表中,导出的数据范围为 T-1 日的数据。

  • 手动补数据导出:历史数据以及每日例行失败的数据可以通过手动补数据的方式,离线导出。支持补最近 90 日内的历史数据。

创建日志导出任务

支持创建每日例行和补数据两种类型的任务。

  • 每日例行任务:用于每日例行同步前一日产生的新增日志数据,每日凌晨 2:00 ~ 8:00 执行。

  • 补数据任务:用于在每日例行任务执行失败的情况下补对应日期的数据,最长支持补最近 90 日内的历史数据。

创建每日例行任务

每日例行任务通过任务模板来触发。

操作步骤如下:

  1. 登录 mPaaS 控制台,在应用列表页面选择目标应用。

  2. 在左侧导航栏中,选择 移动分析 > 日志管理 菜单。

  3. 在右侧页面上,进入 日志导出 > 任务模板管理 标签页,单击 创建任务模板,在弹出的任务模板创建窗口中配置模板信息。各配置项说明如下:

    配置项

    是否必填

    说明

    任务模板名称

    自定义模板名称。

    执行器组

    数据导出任务的执行器通过集群编组的方式运行。执行器编组分为共享执行器组(default,面向全部客户)和专享执行器组。

    目标库 AccessID

    目标 MaxCompute(原名 ODPS)数据库的访问 ID,即阿里云账号。

    目标库 AccessSecret

    目标 MaxCompute 数据库的 Key。

    目标库 ODPSProject

    目标 MaxCompute 数据库的项目名。

    目标库 Region

    目标 MaxCompute 数据库所在地域。系统会根据 MaxCompute 的区域表 自动生成 Endpoint。

    源数据表

    支持导出以下 MAS 日志表数据:

    • uniform_behavior:行为日志表

    • uniform_behavior_auto:自动化日志表

    • monitor_performance:性能日志表

    • uniform_exception:异常日志表

    说明

    每个日志类型仅能创建一个任务模板。

    目标数据表

    要将数据导至其中的数据表。输入对应的导出日志类型的目标数据表名,并根据生成的建表语句,在 MaxCompute 创建对应数据表。

  4. 模板信息配置完毕后,单击 确定 完成创建。新建的模板将出现在任务模板列表中。

    新建模板的 运行 开关默认打开,表示将定时生成导出任务。该任务将显示在 任务管理 列表中,任务类型为 每日例行。若关闭 运行 开关,后续将不再生成每日例行导出任务。

创建补数据任务

补数据任务的触发同样依赖任务模板。

操作步骤如下:

  1. 在左侧导航栏中,选择 移动分析 > 日志管理 菜单。

  2. 在右侧页面上,进入 日志导出 > 任务管理 标签页,单击 创建补数据任务

  3. 在任务创建窗口中,选择 补数据日期任务模板 后,单击 确认 完成创建。

    任务创建后将立即执行。新建的补数据任务将显示在 任务管理 列表中,任务类型为 补数据任务

管理任务模板

不管是每日数据的定时导出,还是历史数据的手动补数据导出,都是在每日的特定时间段执行导出任务,即每日的日志数据导出都会单独生成一个任务来执行。

MAS 支持通过模板来统一创建和管理相同数据源和目标数据表的日志导出任务,以减少重复的日志导出配置工作,提升工作效率。

任务模板列表展示模板名称、任务类型、执行器组、目标库 Region、模板创建时间、运行状态等信息。任务模板管理包括模板新增、运行、查看、编辑和删除操作。

创建任务模板

模板创建操作详见 创建每日例行任务

查看模板详情

在任务模板列表中,选择目标模板,单击右侧的 查看 链接查看模板详情。

编辑模板

在任务模板列表中,选择目标模板,单击右侧的 编辑 链接,修改模板信息并确认即可。模板修改将会对此后生成的任务生效,不会对之前已经执行的任务产生任何影响。

删除模板

在任务模板列表中,选择目标模板,单击右侧的 删除 链接并确认,即可删除相应模板。

管理日志导出任务

任务管理页面展示由任务模板定时或批量生成的所有日志任务,包括任务 ID、任务类型、执行器组、任务模板名称、任务执行时间、执行状态等信息。

任务管理 页面,从任务列表中选择要查看的任务,单击 查看日志,查看当前任务执行详情。如果任务执行失败,可通过日志查看失败原因;未执行状态下的任务无法查看日志。

支持通过指定时间段,选择任务类型和执行状态来筛选日志导出任务。

管理执行器组

执行器组是执行导出任务的执行程序。MAS 对日志导出的执行器采用分组集群的架构设计,以支持更多用户的大数据量导出的需求,并且保证系统可以稳定及时的响应需求。进行日志导出时,默认使用共享执行器组;如果对时效和性能有更高的要求,可以 提交工单 申请开通专享执行器组。

执行器列表展示当前应用日志导出用到的所有共享及专享执行器,包括执行器组名称、执行器组类型、累计执行任务数、累计导出数据量、当前执行任务数、当前排队任务数、运行状态信息。

其中:

  • 执行器组:分为共享和专享两种。

  • 累计执行任务数:当前执行器组累计执行的任务数。

  • 累计导出数据量:当前执行器组累计导出的日志数据量。

  • 当前执行任务:当前执行器组下正在执行中的任务。

  • 当前排队任务:当前执行器组排队中的任务。

  • 运行状态:执行器运行状态,分为流畅、拥堵两种状态。排队任务数超过 0 即视作拥堵。

任务运行概览

任务运行概览展示日志数据导出的任务执行数据,支持查询指定时间段内的日志数据导出情况。注意,此处选择的开始/结束日期对应的是任务实际执行日期。

任务大盘

统计任务执行数据,包括成功任务数、失败任务数和执行中任务数。同时,提供任务执行成功及失败数据折线图,方便您了解一段时间内的任务执行趋势。

执行器组大盘

分别展示共享执行器组和专享执行器组的任务执行情况,包括累计执行任务成功次数和累计导出数据量。