DLA提供了Spark虚拟集群的性能监控功能,本文介绍如何通过DLA管理控制台查看资源监控。
前提条件
- 您已经成功购买DLA虚拟集群。
- 如果您是RAM用户,请确认已具备AliyunARMSFullAccess权限。
查看集群监控
- 登录Data Lake Analytics管理控制台。
- 单击左侧导航栏中的虚拟集群管理 。
- 单击目标虚拟集群详情。
- 在左侧导航栏单击监控报警,选择标准监控。
说明 集群监控的监控项详情请参见监控项说明。
查看作业监控
您可以通过作业列表或者作业尝试列表查看作业监控。
- 作业列表查看作业监控。
- 登录Data Lake Analytics管理控制台。
- 单击 。
- 在作业列表中,单击目标作业操作,选择监控。说明 作业监控的监控项详情请参见监控项说明。
- 作业尝试列表查看作业监控。
- 登录Data Lake Analytics管理控制台。
- 单击 。
- 在作业尝试列表中,单击目标作业操作,选择监控。说明 作业监控的监控项详情请参见监控项说明。
监控项说明
在标准监控页面选择集群监控或者作业监控,具体监控项说明如下。
类别 | 监控项 | 说明 |
---|---|---|
集群监控 | VC CPU Quota | 虚拟集群的CPU Core上限(cpu-cores-hards)和当前用量(cpu-core-used)。 |
VC Memory Quota | 虚拟集群的CPU内存上限(memory-hards)和当前用量(memory-used) | |
作业监控 | CPU Usage | 当前作业Driver和Executor节点的CPU使用率。 |
Memory Usage | 当前作业Driver和Executor节点的内存使用率。 | |
Network I/O | 当前作业Driver和Executor节点的网络传输速度。 | |
Minor GC(GC time/1 min) | 当前作业Driver和Executor节点每分钟 Minor GC花费时间。 | |
Full GC(GC time/1 min) | 当前作业Driver和Executor节点每分钟Full GC花费时间。 | |
Streaming Processing Rate/Min | 当前Streaming作业每分钟处理Records的速率。 | |
Streaming Processing Delay | 当前Streaming作业Batch的处理延时。 | |
Streaming Scheduling Delay | 当前Streaming作业Batch的调度延时。 | |
Structured Streaming Latency | 当前Structured Streaming的作业延时。 | |
Structured Streaming Processing Rate | 当前Structured Streaming每秒的处理速率。 | |
Structured Streaming Input Rate | 当前Structured Streaming每秒的Input速率。 |