音视频通话组件( Mobile Real-Time Communication,简称 MRTC)是 mPaaS 提供的音频、视频通话组件。该组件功能丰富,提供纯语音通话和视频通话功能,支持 PC、移动端、IoT 设备等多终端接入。音视频通话可实现一对一通话及多人会议,通话过程中支持屏幕录制、屏幕共享、截图等功能,同时支持即时文字消息和文件传输。此外,支持实时语音识别,能够识别对端的语音确认,辅助本端判断对端的意向;点播功能可实现在视频通话过程中,播放视频、PPT 等多种提示画面。
音视频通话具有安全性高的特点,端到端全链路加密,符合国密标准,视频录制传输及存储均进行加密。
功能特点
视频通话
多种参与模式:支持一对一视频通话及多人视频通话。
多平台:支持 iOS、Android、PC Web、H5 以及小程序。
多端互通:支持手机、PC、IoT 设备之间互联互通。
会话保持:网络短暂异常、网络切换时,业务流程不中断,保持会话的持续性。
自定义视频规格、自适应视频规格:支持自定义宽、高、最大帧率、最大码率,并能在上限范围内根据网络状况自适应调整视频规格。
通话录制
多粒度录制控制:纯语音录制、纯视频录制、音视频混合录制、一人录制、两人录制、多人录制。
多端录制:根据安全要求,既可以在坐席侧录制,也可以在服务端录制。
多种画面组合模式:支持画中画、九宫格模式。
叠加水印:支持实时叠加文字、图片水印、时间戳,以防篡改。
多种存储系统:支持 NAS、OSS、AFTS、本地文件系统。
多格式:支持多种常见格式,包括 FLV、MP4 等。
数据通信
即时通讯:支持简单的文字消息,方便在视频通话前进行沟通。
文件传输:上传文件后,传输文件链接到对端,供对端下载获取文件。
命令透传:为业务提供透明可靠的命令传输通道。
自动化和智能化
自动语音风险提示:自动播报风险提示等内容,代替人工说明。
视频点播:在视频通话过程中,播放视频、PPT 等风险提示画面。
自动纪要:实时识别视频通话的语音内容,并按照时间分角色交替文字记录对话内容。
自动确认:识别客户对风险提示的语音确认,辅助坐席判断客户的意向。
增强功能
屏幕共享:将本端的屏幕内容投送到其他端。
截图:支持远程控制摄像头拍照、本端截图。
系统转接
旁路直播:云端混音合图,转接直播系统。支持推流到 CDN、第三方直播平台。
产品优势
高安全性
动态加签验签。
端到端全链路加密,符合国密标准。
OpenAPI 动态密钥鉴权。
录制加密传输、存储。
弱网环境下视频质量自适应
根据网络丢包类型、丢包率、RTT、网络抖动评估,来准确的评估网络有效带宽。
经过优化的视频质量自适应算法,视频清晰度、流畅度、尺寸可随目标码率实时变化。
优先保证感兴趣区域的视频质量。
高可靠的媒体流和信令传输
实时流媒体传输平台,确保传输稳定。
冗余链路和优选,动态切换。
信令在节点到节点、端到端实现了双层高可靠机制,既降低了时延,又提高了可靠性,使可靠性达到了 99.95%。
低时延
超低时延,远程操控领域可达到 200 ms。
快速对焦。
改进的 FEC 算法,抗丢包 40%。
H.264-highprofile 技术,可减少高达 50% 的带宽消耗。
多端接入
支持 PC、手机、Pad、小程序、IoT 设备等多终端接入,不同终端和 App 之间能够互通。
功能丰富
双录:云端双向录制、多粒度、多格式、个性化水印、多种存储方式。
智能坐席:自动语音风险提示、视频点播、自动纪要。
接口简洁,接入方便
提供轻量版本,便于接入。
已有业务最快接入纪录:一周开发上线。
产品架构
音视频通话的产品架构如下:
音视频通话的系统架构如下:
音视频 SDK:客户端 SDK,现有支持 Android、iOS、PC Web、小程序、Linux 以及 Windows。
信令服务:负责信令连接管理、信令转发、房间管理、生命周期维护。
master:均衡调度服务器,负责媒体服务器的均衡调度、存活管理。
rtcmcu:媒体转发服务,负责媒体流接收、转发、处理、状态维护。
rtcrecorder:录制服务,负责录制存储。
rtcvod:点播服务,负责音视频点播。