海康威视 郑鹏-剖析WebRTC音视频传输技术
2020-02-27 2797浏览
- 1.聚 音 视 研修不止于形 2017年10月20日-21日 北京.丽亭华苑酒店
- 2.剖析WebRTC 音视频传输技术 郑鹏 海康威视 嵌入式工程专家
- 3.Webrtc音频视传输技术目录 引言 实践经验谈 实时性优化 参考文献 适应变化的带宽 抗丢包 平滑网络抖动 Q&A
- 4.引言 流媒体基本问题 实时性带来的挑战 TCP
- 5.流媒体基本问题 带宽 时延抖动 发送发端送/端接/收接端收驱端动 驱的动带的宽带自宽适自应适应 发送去端抖/动接缓收冲端驱动 的带宽自适应 丢包
- 6.实时性
- 7.交互式应用
- 8.非交互式应用
- 9.TCP 重传的时延开销不可控 丢包环境下的低吞吐量 TCP BBR
- 10.适应变化的带宽 Google Congestion Control Pacing/Padding 更多拥塞控制算法https://datatracker.ietf.org/wg/rmcat
- 11.gcc算法 Delay Based BWE Loss Based BWE 算法收敛带宽约为可用带宽50%
- 12.Delay Based BWE 输入RTP包到达间隔 判断带宽利用状态 输出带宽预估值
- 13.Delay Based BWE AimdRateControl 发送端 DelayBasedBwe Transport-wide Sequence Number 发送端/接收端驱动的带宽自适应z Transport-wide RTCP Feedback 1s周期性更新RTT
- 14.Delay Based BWE AimdRateControl 接收端 RemoteBitrateEstimatorAbsSendTime Absolu发te送Se端nd/T接im收e e端xt驱en动sio的n带宽自适应z RTCP REMB
- 15.Loss Based BWE 输入 Delay Based BWE估值 发送RT端T 丢/包接率收适P端应–驱zRT动CP的R带R报宽文自 25ms周期性运行 带宽估计 As_hat 2-10% 不变 发> 1送0%端/A接s_收ha端t(i)驱=动As的_h带at(宽i-1自)(1适-0应.5Pz) P < 2% As_hat(i) = 1.05(As_hat(i-1)) SendSideBandwidthEstimation
- 16.Pacing/Padding Pacing 5ms内发送数据 < 2.5 * 估计带宽 * 5ms 发5m送s周端期/性接运收行端驱动的带宽自适应z PacedSender, IntervalBudget Padding 实际带宽使用<估计带宽 发送端/接收端驱动的带宽自适应z 使用已发RTP包进行填充,使两者相等
- 17.平滑网络抖动
- 18.去抖动缓冲算法
- 19.去抖动缓冲算法 如何确定缓冲大小 RTCP RR Jitter近似标准差 Buffer = 3*jitter “理论”上去除99%抖动
- 20.NetEq 统一管理去抖动缓冲和PCM缓冲 插采样点 - 减速、PLC 丢采样点 - 加速 输入:音频RTP包 输出 由音频硬件驱动取用10ms音频数据 发R送TC端P R/R统接计收数端据驱动的带宽自适应z 根据RTT决策是否重传修复丢包
- 21.抗丢包
- 22.复合FEC FEC (ForwardErrorCorrection) XOR (RFC 5109/Flex FEC) 分组越大,效率越高 关键数据重点保护,丢包越多保护越强
- 23.复合FEC 重传 FEC修复失败 重传数据能够及时抵达 RTT小 重传 RTT大 FEC ProtectionBitrateCalculator fec_rate_table.h
- 24.RED 音频数据量小 FEC分组引入延时大 RFC 2198 音频冗余 WebRTC将上一帧和当前帧一起发送 也可将低码率音频流作为冗余
- 25.容错编码 视频 多Slice编码 0.95^10 = 59.8% 响应RTCP PLI/SLI报文
- 26.PLC 视频 解码器内置 音频 NetEq 以10ms音频数据为单位 语音数据可抗20%随机丢包 结合RED可抗50%随机丢包
- 27.实时性优化
- 28.视频关键帧 4G关键帧传输200-300ms 解决方法 Infinite GOP + PLI 发送端/接收端驱动的带宽自适应z Periodic Intra Refresh
- 29.Periodic Intra Refresh
- 30.音频帧长 帧长过大 增加延时 降低PLC效率AAC-LC:1024 sample/frameG.711:无限制Opus:最低5ms
- 31.实践经验谈
- 32.编解码适配
- 33.非对称传输
- 34.适配现有系统 SIP协议 相对容易 RTSP 协议 缺乏NAT穿透 SRTP MIKEY RTSP 2.0?
- 35.参考文献 Protocols And Algorithms for Adaptive Multimedia Systems VideoStreaming:Concepts, Algorithms, And Systems A Google Congestion Control Algorithm for Real-Time Communication HANDLING PACKET LOSS IN WEBRTC WebRTC 语音引擎中 NETEQ 技术的研究
- 36.Q&A
- 37.
- 38.聚 音 视 研修不止于形 关注LiveVideoStack公众号 回复 郑鹏 为讲师评分