前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >技术前沿:WebRTC与H.265编码的兼容性挑战与应对策略

技术前沿:WebRTC与H.265编码的兼容性挑战与应对策略

原创
作者头像
TSINGSEE青犀视频
发布于 2024-08-28 01:50:44
发布于 2024-08-28 01:50:44
3960
举报
文章被收录于专栏:TSINGSEE青犀视频TSINGSEE青犀视频

WebRTC(Web Real-Time Communication)是一种支持网页浏览器进行实时语音通话、视频聊天以及P2P文件共享的技术。然而,标准的WebRTC API在大多数浏览器中默认并不支持H.265(也称为HEVC,高效视频编码)编码。这主要是因为H.265虽然提供了比H.264更高的压缩效率,但其专利和许可费用问题较为复杂,且浏览器厂商尚未广泛采用此标准。不过,通过一些方法和技术,我们仍然可以在Web应用中实现或接近实现H.265编码的支持。

1、使用WebAssembly或浏览器插件

一种可能的方案是使用WebAssembly(Wasm)技术来在浏览器中运行经过编译的H.265编解码器代码。这需要开发者获取或开发一个H.265编解码器的源代码,并使用Emscripten等工具将其编译成Wasm模块。这种方式可以允许在浏览器中直接执行H.265编码,但性能可能不如原生支持,且需要处理复杂的编解码器配置和可能的专利问题。

另外,也可以考虑开发或使用现有的浏览器插件,这些插件可能提供了对H.265的支持。但这种方法依赖于用户安装插件,可能会降低用户体验的普遍性和一致性。

2、服务端转码

另一种更实际且常用的方法是,在服务器端进行H.265编码,然后通过WebRTC或其他实时通信技术将编码后的视频流传输到客户端。客户端可以使用标准的WebRTC API接收和解码H.264或其他广泛支持的编解码器格式的视频流,而服务器端则负责将捕获的视频流首先使用H.265编码,然后将其转换为客户端可以处理的格式。

这种方法的好处是,它可以在不修改客户端浏览器的情况下实现高压缩率的视频传输。同时,服务端处理编解码任务可以减轻客户端设备的负担,并优化视频传输的带宽和延迟。

3、利用开源项目和社区支持

随着Web技术的不断发展,一些开源项目和社区可能会致力于在Web平台上实现H.265的支持。开发者可以关注这些项目,了解最新的进展,并尝试将它们的成果集成到自己的Web应用中。例如,WebCodecs API是Web平台上的一个新提案,旨在提供对视频和图像编解码的直接访问,未来可能会包括对H.265的支持。

4、TSINGSEE青犀视频解决方案

TSINGSEE青犀EasyCVR视频汇聚平台目前支持在WebRTC协议下,支持H.265的视频播放。

我们采取了将视频以H.265编码并搭配AAC音频(所有音频均统一转码为AAC格式)封装成FLV格式,随后利用WebRTC的DataChannel功能,高效地将这些数据传输至客户端。

当DataChannel将数据传输到客户端后,这些数据会被回调至上层,进而采用类似HTTP-FLV或WebSocket-FLV的模式进行处理。在这一阶段,可以选择使用MSE硬件加速、WebCodecs硬解码,或是备选的WASM软解码方式来进行视频解码。

WebRTC的DataChannel支持通过UDP或TCP进行数据传输,充分利用了WebRTC的高效QoS(服务质量)策略,确保数据传输的稳定性和效率。因此,用户只需专注于服务端的FLV封装和客户端的FLV解码播放,即可享受流畅的视频传输体验。

5、评估和测试

无论采用哪种方法,都需要进行充分的评估和测试。评估包括性能(编解码速度、CPU/GPU占用率)、兼容性(不同浏览器和设备上的表现)、带宽使用效率以及用户体验等方面。测试应覆盖多种场景和用例,以确保解决方案的可靠性和稳定性。

6、结论

尽管WebRTC标准目前不支持H.265编码,但开发者仍然可以通过上述方法实现或接近实现H.265编码的支持。每种方法都有其优缺点,选择哪种方法取决于具体的应用场景、技术栈和用户需求。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
RTSP和RTMP协议有什么区别?RTSP为什么常用于安防监控摄像头行业,而视频直播却只使用RTMP推流?
RTSP(Real Time Streaming Protocol)是一种用于控制实时流媒体传输的网络协议。它允许客户端与服务器进行交互,控制流媒体的播放、暂停、停止、倒放、快进等操作。RTSP协议可以用于音频、视频等多种流媒体数据的传输。
csdn博主eguid_1
2024/01/25
5.6K0
WebRTC架构图说明
网上也有很多资料说这张图在webRTC的官网上,但是很多童鞋根本就找不到。这是因为很多童鞋没有进行访问国外网站:WebRTC架构说明英文文档:https://webrtc.github.io/webrtc-org/architecture/
音视频开发进阶
2020/09/04
6.3K0
WebRTC架构图说明
为什么H.266未能普及应用?
H.266,也被称为Versatile Video Coding(VVC),是近年来由MPEG(Moving Picture Experts Group)和ITU(International Telecommunication Union)联合开发并发布的新一代国际视频编码标准。该标准于2020年定稿,旨在提高视频压缩效率,特别是在4K和8K超高清视频领域。然而,尽管H.266拥有诸多技术优势,但至今仍未能在市场上广泛流行,这背后有多重原因。
TSINGSEE青犀视频
2024/09/12
3000
一文详解WebRTC、RTSP、RTMP、SRT
好多开发者,希望对WebRTC、RTSP、RTMP、SRT有个初步的了解,知道什么场景该做怎样的方案选择,本文就四者区别做个大概的介绍。
音视频牛哥
2024/09/27
3.6K0
一文详解WebRTC、RTSP、RTMP、SRT
EasyCVR新版本(v2.5.0)无法播放WebRTC视频,其他格式均正常播放,是什么原因?
EasyCVR平台基于云边端一体化管理,支持多协议、多类型的视频设备接入,对外可分发RTSP、RTMP、FLV、HLS、WebRTC等格式的视频流。在视频功能上,可提供服务器集群、视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、智能分析等服务。
TSINGSEE青犀视频
2022/08/11
3310
VP9与H.265的6个不同点
先来了解一下视频在互联网上传输需要经历哪些环节。它必须先使用麦克风和摄像机捕捉音频与视频。然后,原始数据必须压缩(编码)到编解码器中,通过互联网连接(使用传输协议)广播,发送到某种服务器端解决方案(server-side solution)(通常是CDN或一个基于云的集群(cloud-based cluster),如Red5 Pro),然后解压(解码),最终供用户观看视频。
LiveVideoStack
2020/09/24
2.6K0
编码技术跃迁,H.265高效编码赋能视频平台
随着科技的飞速发展和社会的不断进步,视频压缩编码技术已经成为视频传输和存储中不可或缺的一部分。在众多编码标准中,H.265(HEVC,High Efficiency Video Coding)和H.264(AVC,Advanced Video Coding)是最为重要的两种。本文将深入分析H.265与H.264编码的区别,并探讨EasyCVR视频汇聚平台在视频处理方面的优势。
TSINGSEE青犀视频
2024/09/02
4250
通过WebAssembly在移动端解码H.265
随着音视频业务的快速发展,作为前端工程师,我们团队也逐步深入到音视频编解码领域,涉及到流媒体技术中的文本、图形、图像、音频和视频多种理论知识的学习,并有机会大规模应用到具体实践中。
LiveVideoStack
2019/07/01
7.4K0
通过WebAssembly在移动端解码H.265
音视频:播放器与 H.265 播放探索
上一篇已经介绍了H.264和H.265之间的一些关系和基础,简单来说,H.265标准围绕着视频编码标准H.264,保留原来的某些技术,同时对一些相关的技术加以改进。
程序员架构进阶
2021/11/04
2.2K0
花椒前端基于WebAssembly 的H.265播放器研发
随着近些年直播技术的不断更新迭代,高画质、低带宽、低成本成为直播行业追求的重要目标之一,在这种背景下,H.264 标准已成为行业主流,而新一代的 HEVC(H.265)标准也正在直播领域被越来越广泛地采用。花椒直播一直在对 HEVC(H.265)进行研究、应用以及不断优化。
LiveVideoStack
2019/07/19
5.9K1
Zoom的Web客户端与WebRTC有何不同?
原文 https://webrtchacks.com/zoom-avoids-using-webrtc/
LiveVideoStack
2021/09/01
1.9K0
WebRTC的现状和未来(下)
可拓展视频编码(SVC)可以说是处理来自同一发送者的多个媒体流以处理组呼叫中每个接收者的不同条件的更好方法。在许多方面,它也被认为更复杂。Sergio&Gustavo对此主题发表了精彩的文章。
LiveVideoStack
2021/01/19
1.1K0
RTMP的工作原理
 点击上方“LiveVideoStack”关注我们 翻译:Alex 技术审校:章琦 本文来自OTTVerse,作者为Krishna Rao Vijayanagar。 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 RTMP Easy-Tech #028# 什么是RTMP? RTMP(Real-Time Messaging Protocol,实时消息传输协议)是一种用于低延迟、实时音视频和数据传输的双向互联网通信协议,由Macromedia(后被Adobe收购)开发。RTMP的工作原理
LiveVideoStack
2022/05/30
1.4K0
RTMP的工作原理
WebRTC为何成为视频开发领域的首选技术?
随着互联网的飞速发展,视频通信已成为日常生活和工作中不可或缺的一部分。从在线教育、视频会议到远程医疗、在线直播,视频开发的需求日益增长。在这些应用场景中,选择何种技术来构建视频系统至关重要。
TSINGSEE青犀视频
2024/09/05
2150
JPEG XS 图像编码新标准
原标题:JPEG White paper: JPEG XS, a new standard for visually lossless low-latency lightweight image coding system
用户1324186
2019/08/08
7.6K0
JPEG XS 图像编码新标准
H.265编码视频在web网页实现无插件播放应该通过软解码还是硬解码?
目前摄像头存在H.265和H.264两种编码格式,我们的摄像头已经支持H265编码视频的传输。H.264编码格式可以直接在web浏览器通过H5来进行视频解码来完成播放,但是对于H.265编码的视频,无法通过H5直接解码来进行视频播放,当前的方案是通过H5调用编解码组件来进行web直播。
TSINGSEE青犀视频
2021/05/13
3.3K0
展望2018音视频技术:AV1,AI,区块链,WebRTC
实时音视频技术是源于早期的VoIP通信,随着后来互联网的发展进程,这项技术2003年被Skype引入到PC桌面系统,开启了整个实时音视频技术新纪元。经过15年的进化,基于PC上的实时音视频技术日渐成熟,也涌现了像WebRTC这样的开源项目。但随着近几年移动互联网和4G的兴起,实时音视频领域有了更广泛的应用,引来了新的技术难题和挑战。经过2016年直播大战后,音视频应用得到了用户的认可,直接促成了2017年实时音视频应用的大爆发,在娱乐方面出现了像狼人杀、陌生人视频社交、在线抓娃娃等风口;在协作应用领域出现了Slack和Zoom等多人远程协作应用;在行业应用上也有很大的突破,例如像VIPKID、学霸君1V1等强劲的在线教育产品。在苹果8月份宣布新一代iOS浏览器Safari支持WebRTC后,实时音视频技术成为了时下热门技术体系。
LiveVideoStack
2021/09/02
8080
展望2018音视频技术:AV1,AI,区块链,WebRTC
视频集成与融合项目中需要视频编码,但是分辨率不兼容怎么办?
在众多视频整合项目中,一个显著的趋势是融合多元化的视频资源,以实现统一监管与灵活调度。这一需求促使项目团队不断探索新的集成方案,确保不同来源的视频流能够无缝对接,共同服务于统一的调看与管理平台,进而提升整体视频监控的效率和响应速度。
TSINGSEE青犀视频
2024/09/26
2120
了不起的WebRTC:生态日趋完善,或将实时音视频技术白菜化
有人说 2017 年是 WebRTC 的转折之年,2018 年将是 WebRTC 的爆发之年,这并非没有根据。就在去年(2017年),WebRTC 1.0 标准草案出炉(实际上WebRTC标准草案的早期版本早在2011年就已经发布,WebRTC并非一夜之间就出现的技术),并将于今年正式发布。与此同时,越来越多的浏览器和厂商都开始对它进行广泛的支持,WebRTC 即将成为互联网的基础设施了,或许门槛如此之高的实时音视频技术终有白菜化的那一天。
JackJiang
2018/08/29
2.9K0
WebRTC现状与未来:专访W3C的WebRTC主席Bernard Aboba
原标题:WebRTC Today & Tomorrow: Interview with W3C WebRTC Chair Bernard Aboba
用户1324186
2021/01/12
1K0
WebRTC现状与未来:专访W3C的WebRTC主席Bernard Aboba
推荐阅读
相关推荐
RTSP和RTMP协议有什么区别?RTSP为什么常用于安防监控摄像头行业,而视频直播却只使用RTMP推流?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档