产品简介

音视频通话组件( Mobile Real-Time Communication,简称 MRTC)是 mPaaS 提供的音频、视频通话组件。该组件功能丰富,提供纯语音通话和视频通话功能,支持 PC、移动端、IoT 设备等多终端接入。音视频通话可实现一对一通话及多人会议,通话过程中支持屏幕录制、屏幕共享、截图等功能,同时支持即时文字消息和文件传输。此外,支持实时语音识别,能够识别对端的语音确认,辅助本端判断对端的意向;点播功能可实现在视频通话过程中,播放视频、PPT 等多种提示画面。

音视频通话具有安全性高的特点,端到端全链路加密,符合国密标准,视频录制传输及存储均进行加密。

功能特点

  • 视频通话

    • 多种参与模式:支持一对一视频通话及多人视频通话。

    • 多平台:支持 iOS、Android、PC Web、H5 以及小程序。

    • 多端互通:支持手机、PC、IoT 设备之间互联互通。

    • 会话保持:网络短暂异常、网络切换时,业务流程不中断,保持会话的持续性。

    • 自定义视频规格、自适应视频规格:支持自定义宽、高、最大帧率、最大码率,并能在上限范围内根据网络状况自适应调整视频规格。

  • 通话录制

    • 多粒度录制控制:纯语音录制、纯视频录制、音视频混合录制、一人录制、两人录制、多人录制。

    • 多端录制:根据安全要求,既可以在坐席侧录制,也可以在服务端录制。

    • 多种画面组合模式:支持画中画、九宫格模式。

    • 叠加水印:支持实时叠加文字、图片水印、时间戳,以防篡改。

    • 多种存储系统:支持 NAS、OSS、AFTS、本地文件系统。

    • 多格式:支持多种常见格式,包括 FLV、MP4 等。

  • 数据通信

    • 即时通讯:支持简单的文字消息,方便在视频通话前进行沟通。

    • 文件传输:上传文件后,传输文件链接到对端,供对端下载获取文件。

    • 命令透传:为业务提供透明可靠的命令传输通道。

  • 自动化和智能化

    • 自动语音风险提示:自动播报风险提示等内容,代替人工说明。

    • 视频点播:在视频通话过程中,播放视频、PPT 等风险提示画面。

    • 自动纪要:实时识别视频通话的语音内容,并按照时间分角色交替文字记录对话内容。

    • 自动确认:识别客户对风险提示的语音确认,辅助坐席判断客户的意向。

  • 增强功能

    • 屏幕共享:将本端的屏幕内容投送到其他端。

    • 截图:支持远程控制摄像头拍照、本端截图。

  • 系统转接

    • 旁路直播:云端混音合图,转接直播系统。支持推流到 CDN、第三方直播平台。

产品优势

  • 高安全性

    • 动态加签验签。

    • 端到端全链路加密,符合国密标准。

    • OpenAPI 动态密钥鉴权。

    • 录制加密传输、存储。

  • 弱网环境下视频质量自适应

    • 根据网络丢包类型、丢包率、RTT、网络抖动评估,来准确的评估网络有效带宽。

    • 经过优化的视频质量自适应算法,视频清晰度、流畅度、尺寸可随目标码率实时变化。

    • 优先保证感兴趣区域的视频质量。

  • 高可靠的媒体流和信令传输

    • 实时流媒体传输平台,确保传输稳定。

    • 冗余链路和优选,动态切换。

    • 信令在节点到节点、端到端实现了双层高可靠机制,既降低了时延,又提高了可靠性,使可靠性达到了 99.95%。

  • 低时延

    • 超低时延,远程操控领域可达到 200 ms。

    • 快速对焦。

    • 改进的 FEC 算法,抗丢包 40%。

    • H.264-highprofile 技术,可减少高达 50% 的带宽消耗。

  • 多端接入

    • 支持 PC、手机、Pad、小程序、IoT 设备等多终端接入,不同终端和 App 之间能够互通。

  • 功能丰富

    • 双录:云端双向录制、多粒度、多格式、个性化水印、多种存储方式。

    • 智能坐席:自动语音风险提示、视频点播、自动纪要。

  • 接口简洁,接入方便

    • 提供轻量版本,便于接入。

    • 已有业务最快接入纪录:一周开发上线。

产品架构

音视频通话的产品架构如下:

音视频 - 产品架构图

音视频通话的系统架构如下:

音视频 - 系统架构图
  • 音视频 SDK:客户端 SDK,现有支持 Android、iOS、PC Web、小程序、Linux 以及 Windows。

  • 信令服务:负责信令连接管理、信令转发、房间管理、生命周期维护。

  • master:均衡调度服务器,负责媒体服务器的均衡调度、存活管理。

  • rtcmcu:媒体转发服务,负责媒体流接收、转发、处理、状态维护。

  • rtcrecorder:录制服务,负责录制存储。

  • rtcvod:点播服务,负责音视频点播。