大家好,我是第二次参加LiveVideoStack举办的活动,第一次参加的时候我准备了两部分内容:程序化和流行的VR、AR。当时出品人陆老师(陆其明)谈到单纯地讲程序化太偏,可能整体效果不好,于是我临时改换了演讲主题,讲另外一个也就是VR、AR的案例。但是在参会时有人向我反映,在这种纯粹的讲代码讲技术的特殊行业,只讲例子反而不如今天讲的这个,所以我的思想发生了变化。这次来分享,我就迫不及待的把之前准备的东西拿出来,今天的内容也比较适合,短小精悍。我会与大家分享几个小例子和编码中一些小的技巧,而最近火热的区块链播放器,AI增强的另外一些编码器主题可能太大,需要更多的时间与大家讨论。我认为这些话题有可能在今年10月份有可能有结果,现在定论为时尚早。程序开发就是如此,等到大家出结果的时候,可能风口已经过去,大家也已经不追了,这是一种趋势。
大家好,我是来自网易云信的何鸣,目前主要负责网易云信G2音视频框架中视频编解码引擎的开发与优化工作。
矩阵乘法作为一种基本的数学运算,在计算机科学领域有着非常广泛的应用,矩阵乘法的快速算法对科学计算有着极为重要的意义。自 1969 年 Strassen 算法开始,人们意识到了快速算法的存在,开始了长达数十年的探索研究。
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周的重要论文包括微软研究者提出的首个基于 NeRF 的架构 FastNeRF,新加坡国立大学、字节跳动 AI Lab研究者提出的Re-attention,哈佛、MIT 学者联手,创下矩阵乘法运算最快纪录等研究。 目录: FastNeRF: High-Fidelity Neural Rendering at 200FPS Hurdles to Progress in Long-form Question Answe
大家好,我是来自B站视频云技术部的技术专家叶天晓,今天和大家分享的主题是B站H.265编码器在直播和点播中的实践和应用。
2020年7月,由ITU-T的VCEG和ISO/IEC的MPEG组成的联合视频专家组JVET发布了最新一代的视频编码标准VVC(Versatile Video Coding)。VVC是HEVC之后的下一代编码标准,将由ITU-T作为H.266发布,并在ISO / IEC标准中构成MPEG-I第3部分(ISO / IEC 23090-3)。作为最新的视频编码标准,VVC的目标是在节省50%码率的情况下,取得与HEVC相同的视觉质量。此外,VVC也被寄希望于在新兴场景中得到很好的应用,包括高动态范围(HDR),自适应比特流,计算机生成的内容以及沉浸式应用(如360视频和增强现实(AR)等)。
随着近几年视频行业的爆发增长,各个业务场景对视频处理的需求越来越高。本周的技术解码就由段争志老师带大家一起探秘腾讯云视频云全链路媒体处理解决方案中的关键技术。 近几年视频行业喷井式爆发,短视频APP、社交媒体、电商带货、直播会议、线上教育等等各种泛媒体类应用大规模增长的同时,人们对高清/超高清、低延时、高画质的需求也越来越强烈。腾讯云视频云依托自身多年的视频技术的积累以及众多业务应用的落地优化实践,不断完善自身产品体系,优化性能,结合用户业务场景不断创新,提供一整套集视频质检、画质修复增强、编码、
Versatile Video Coding (VVC) 是目前最优的视频编码标准,它具有很高的编码效率,同时也带来了很高的复杂度。为了解决这一问题,Kulupana 等人提出了一种基于机器学习(ML)的 VVC 帧间编码快速算法。
在数字信号处理中常常需要用到离散傅立叶变换(DFT),以获取信号的频域特征。尽管传统的DFT算法能够获取信号频域特征,但是算法计算量大,耗时长,不利于计算机实时对信号进行处理。因此导致DFT被发现以来,在很长的一段时间内都不能被应用到实际工程项目中,直到一种快速的离散傅立叶计算方法——FFT被发现,离散是傅立叶变换才在实际的工程中得到广泛应用。需要强调的是,FFT并不是一种新的频域特征获取方式,而是DFT的一种快速实现算法。
大家好,我是RealNetworks的况超,本次演讲的主题是视频编解码优化以及与AI的实践结合,虽然我不是AI技术的专家,但在做视频编解码的后期也会用到一些AI的技术,所以也会与大家一起分享这部分的内容。
在视频编码标准过去三十多年的发展历程中,离散余弦变换(Discrete Cosine Transform,DCT)Type 2 (后面简称为DCT2)因其较低的实现复杂度以及相对高效的变换增益,成为多项国际视频标准中的关键核心编码技术。然而,随着设备终端计算能力的不断提高以及市场对视频压缩性能需求的持续增强,更高性能更精细的新型变换技术逐渐成为研究热点,并被成功推向多项视频编码标准。
AI 科技评论按:8 月 9 日,为期两周的 2018 国际数学家大会(ICM)在里约热内卢完美谢幕,来自全球一百多个国家的 3000 多位数学家出席了本次盛会。
近日公布的MSU FullHD编码大赛结果中,腾讯编码器包揽所有15项关键指标全部第一。腾讯自研的最新一代视频编解码标准VVC/H.266编码器Tencent266,以出色的压缩性能和节省带宽的能力取得了12项第一,第一总数最多,并在H.266赛道中取得15项关键指标全部第一。
新技术如何工作的示意图,将信号转换为更具信息性的表示。“简而言之,我们将以不同的眼光看待信号!”
梯度提升是一种可以获得当前最佳性能的监督学习方法,它在分类、回归和排序方面有很好的表现。XGBoost 是一般化梯度提升算法的实现,它在多核和分布式机器上有着高度优化的实现,且能处理稀疏数据。怀卡托大学和英伟达在这一篇论文中描述了标准 XGBoost 库的扩展,它支持多 GPU 的执行,并能显著地减少大规模任务的运行时间。本论文提出的扩展是原版 GPU 加速算法的新进展,它展现出拥有更快速和更高内存效率的策树算法。该算法基于特征分位数(feature quantiles)和梯度提升树其它部分的并行化算法。作者们在 GPU 上实现决策树构建、分位数生成、预测和梯度计算算法,并端到端地加速梯度提升流程。这一过程使得 XGBoost 库可以利用显著提升的内存带宽和大规模并行化 GPU 系统集群。
背景 广州银行成立于1996年9月,自成立以来,依托中国经济腾飞的大好形势,乘广东改革开放先行先试的东风,不断深化改革、强化管理、优化服务,各项业务持续快速发展,竞争实力显著增强,已成为国内具有一定知名度与地方特色的商业银行。 随着银行业务的快速发展,现有的数据中心基础设施的资源已经无法满足业务需求,需要对多个系统进行扩容,包括办公系统、文档中台系统、数据分析系统、数据存储等。新建的系统,除了要满足银行的业务需求外,还要符合自主可控、安全可信等信息技术创新标准。 作为一家国有银行,广州银行积极响应国家政策,
大家晚上好,非常荣幸又有这个机会来LVS,与大家一起探讨一些问题。我第一次参加LVS应该是2017年,现在已经接近4年的时间了。
论文标题:SVM Based Fast CU Partitioning Algorithm for VVC Intra Coding
今日介绍10篇论文,来自腾讯旗下视觉研发平台腾讯优图,涉及数学速算批改、视频识别、语义分割等技术领域,跨越识别、交通、教育和医疗等场景,是腾讯优图最新研发成果。
11月1日,腾讯AI Lab在南京举办的腾讯全球合作伙伴论坛上宣布正式开源“PocketFlow”项目, 该项目是一个自动化深度学习模型压缩与加速框架,整合多种模型压缩与加速算法并利用强化学习自动搜索合适压缩参数,解决传统深度学习模型由于模型体积太大,计算资源消耗高而难以在移动设备上部署的痛点,同时极大程度的降低了模型压缩的技术门槛,赋能移动端AI应用开发。
随着视频直播不断向着超高清、低延时、高码率的方向发展, Apple Vision的出现又进一步拓展了对3D, 8K 120FPS的视频编码需求,视频的编码优化也变得越来越具有挑战性。在LiveVideoStackCon 2023上海站,腾讯云专家工程师姜骜杰老师为我们分享了腾讯云V265/TXAV1直播场景下的编码优化和应用,带领我们探索音视频技术的无限可能性。
来源:ScienceAI 本文约3900字,建议阅读10+分钟 如果机器学习能够发现一种全新的算法理念,这将改变游戏规则。 数学家酷爱漂亮的谜题。当你尝试找到最有效的方法时,即使像乘法矩阵(二维数字表)这样抽象的东西也会感觉像玩一场游戏。这有点像尝试用尽可能少的步骤解开魔方——具有挑战性,但也很诱人。除了魔方,每一步可能的步数为 18;对于矩阵乘法,即使在相对简单的情况下,每一步都可以呈现超过 10^12 个选项。 在过去的 50 年里,研究人员以多种方式解决了这个问题,所有这些都是基于人类直觉辅助的计
最早接觸的仿真軟件應該是Matlab,10多年前用過的版本是6.5和7.0,那是Matlab的安裝包還不到1GB。用作控制理論的仿真工具,和Matlab6.5同期的編程軟件是VC6.0,還時常想起神奇的MFC,皆成往事。這麼多年過去,最常用的通訊依然如故,以串口和socket爲主,I2C SPI CAN也經常用到。
2021年2月21日,莫斯科国立大学(MoscowState University)举办的MSU云端视频转码大赛(CloudVideo Transcoding Services Comparison)成绩揭晓, 由腾讯内部开源协同的O264/V265编码器助力的视频云媒体处理 (Tencent Media Processing Service)业务,一举拿下H.264和H.265的视频转码质量、视频转码质量/转码速度(Best speed/quality trade-off)、视频转码质量/转码价格(
读财经资讯、看理财直播、学投资知识……在「搞钱」这个共同目标下,投资理财俨然成了人们日常生活的一部分,与之相关的话题也成了人们聊天时避不开的热门。 「最近买了什么股票?」 「今天涨了还是跌了?」 「下一个财富密码会是什么?」 不仅在线下,这个投资全民化的时代中,与天南海北的投资同好、业界大牛线上交流经验心得,探讨投资观点的「投资社交」,也是这届「投资人」的一项刚需。「让投资更简单、不孤单」,富途旗下moomoo正满足了投资者的这一需求,让投资者可以随时随地与全球用户交流投资经验、分享投资心得。 moomo
每周一期,纵览音视频技术领域的干货。 新闻投稿:contribute@livevideostack.com。 ---- LiveVideoStackCon 2022 音视频技术大会 北京站 LiveVideoStackCon 2022 音视频技术大会 北京站即将在11月4日至5日召开,本次大会将延续「音视频+无限可能」的主题,继续挖掘音视频技术与不同行业、场景、业务的深入结合,并新增了《新风口:元宇宙入局之路》、《AI与多媒体》专题。值得期待的是,我们也首次将音频技术与品牌完全整合在一起,邀请了腾讯天琴
16并不是一个很大的数字。那么,在64个时钟周期内,计算一个卷积神经网络(Convolutional Neural Network,简称CNN),使其能够从16个输入通道、3*3张量卷积中生成具有16*16张瓦片图(tile)的16个输出通道,将需要多少MAC(Multiply-Accumulate Unit,乘加器)呢?
BIGO从2014年创立至今一直聚焦在全球范围提供音视频服务,短短五年时间已稳定进入全球App收入排行榜前十。旗下全球视频直播社区Bigo live,短视频内容创作平台Likee,音视频通讯imo服务于全球150个国家的4亿多用户,已形成了涵盖「实时多人语音/视频+直播+点播」全面完善的音视频产品矩阵。
近年来,内容业务在行业蓬勃发展。淘宝也在积极进行内容化转型,本次LiveVideoStackCon 2021 上海站大会我们邀请到了阿里巴巴淘系技术高级算法专家——王立波(庄恕),回顾淘宝从图文到短视频直播的发展历程,介绍音视频算法在其中的应用和未来的投入方向包括编解码、视频处理、音频通讯与互动。
最近一段时间,超级计算机是科技公司比拼的重点。昨天商汤科技的 AIDC 刚刚启用,今天又传来了脸书超算的消息。
file:///C:/Users/issuser/Downloads/NonLocalDenoising.pdf
rs_pbrt是对《Physically Based Rendering,PBRT(光线跟踪:基于物理的渲染) 》这本书中代码的Rust实现。
此方法用的创建新数组,空间复杂度比较高,没有使用数据交互,使用数据数据交换效率更高点,此方法,只用于原理的理解
新知系列课程第二季来啦!我们将为大家带来全真互联时代下新的行业趋势、新的技术方向以及新的应用场景分享。本期我们邀请了腾讯云音视频技术导师——刘兆瑞,为大家分享媒体处理技术在4K/8K超高清视频处理上的应用。 随着观看设备分辨率的提升以及观看设备不断向高清升级,业界对视频清晰度的要求也日渐增高。中国电子信息产业发展研究院发表的《超高清视频产业发展白皮书(2021年)》宣告了超高清时代的来临。面对4K/8K超高分辨率、超高码率的视频,很多新的痛点问题亟待解决,今天的文章将分享我们在利用媒体处理能力加速媒体数字
CVPR2023 曾拒稿 OpeanAI 的 DiT,收录生数科技的 U-ViT。
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 梯度下降是机器学习中求最小值最常用的一种算法。尽管这种算法应用广泛,但是人们关于它计算复杂度的理论研究却寥寥无几。 在今年ACM举办的计算机理论顶会STOC上,牛津大学和利物浦大学的学者们,给我们证明了这个理论问题的答案。 他们得到了梯度下降算法的计算复杂度,等于两类计算机问题的交集。 这篇文章也成为了STOC 2021的最佳论文。 梯度下降的复杂度 四位作者研究人员将目光放在了TFNP中两个子集问题的交集。 第一个子集称为PLS (多项式局部
背景介绍 互联网多媒体技术的普及使数字视频得到了广泛的应用,更大分辨率、更高清晰度的视频逐渐进入人们的生活。传统视频编码标准如ITU(国际电信联盟)和ISO/IEC(国际标准化组织/国际电工委员会)共同制定的H.264/AVC标准针对大分辨率视频,如2K、4K等,压缩性能不够优良。其下一代标准高效视频编码(HEVC, High Efficiency Video Coding)编码标准相对于H.264/AVC有50%的压缩率提升,更适合大分辨率视频的压制,也因此成为目前主流的国际标准。国内自主研制的标准包括A
” 8月5日-6日,LiveVideoStackCon 2022 音视频技术大会 上海站,和你一同开启通向未来的大门。 视频编解码性能优化与实现 视频编解码技术不断迭代的背后,是来自人们对交互体验提出更高清、更沉浸、更低延时的更高要求。为了满足人们对视频的需求,各大厂家对H.266、AV1等标准的编码器进行不断的研发与优化落地;除此之外,由于不同的视频内容以及不同的带宽特点,视频编码技术工作者们在针对特殊场景的编码优化中也在不断深耕。人、视频、编码标准,在这个需求闭环中,视频编解码技术无疑是串联整个闭环中的
在网络上进行社区检测时,有时我们不仅拥有实体之间的联系。这些实体代表了我们可能也想在网络可视化中代表的现实事物。
国内,各大平台在为用户带来欧洲杯全程直播的同时,推出了元宇宙观赛、裸眼3D观赛、VR互动观赛、AI互动观赛等诸多新场景、新玩法。跟随苹果VisionPro上市掀起的XR热潮,不少平台还依托空间音视频能力,打造了新颖的沉浸式空间观赛。空间视频、AI等新技术爆发的今天,赛事直播用户观赛体验的升级也已经开始卷向新赛道,从单纯的比拼分辨率,转向了互动、玩法、内容等更丰富多元的新方向。
LiveVideoStack:请简要介绍下自己,以及目前主要的工作方向,对哪些技术或领域感兴趣?
这么多年来,要选一个AI落地过程中的最大挑战,AI产品恐怕是其中之一。技术浪潮迭代,场景纷繁复杂,而产品作为连接两者之间的桥梁,一直没有被很好地定义。
// 编者按:近年来,腾讯云在编解码领域投入了许多,不同于许多厂商基于开源方案做增强,腾讯从2017年就开始自研编解码器包括现在的AV1。LiveVideoStackCon 2022音视频技术大会上海站邀请到腾讯云香农实验室编解码器研发负责人张贤国老师,为大家介绍腾讯自研AV1编解码器。 文/张贤国 整理/LiveVideoStack 本次和大家分享的主题是《腾讯自研新一代AV1编码器》,距离我上一次2019年在LiveVideoStackCon2019北京站演讲已经过去了快三年,这次就和大家分享
机器之心原创 作者:高静宜 2017 年 3 月 13 日,通过名为 reVISION™的堆栈,All programmable 技术和器件公司赛灵思(Xilinx)宣布将赛灵思技术扩展至广泛的视觉导向机器学习应用领域,解决软件及算法工程师 80% 的开发难题。 机器学习近年来的快速发展促进了传统嵌入式视觉系统的变革,众多传统嵌入式视觉应用采用机器视觉和传感器融合技术后都在发生巨变。 在 All programmable 技术和器件的全球领先企业赛灵思发布面向广泛视觉导向机器学习应用的名为 reVISION
LiveVideoStack:王豪你好,向LiveVideoStack的读者介绍下自己,以及您(或您团队)目前负责工作和感兴趣的技术方向。
机器之心专栏 机器之心编辑部 该论文提出了一个为多模态设计的概率建模框架 UniDiffuser,除了单向的文生图,还能实现图生文、图文联合生成、无条件图文生成、图文改写等多种功能。 据悉 GPT-4 将于本周发布,多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口,能够根据不同模态信息来给出回复文本,但大语言模型生成的内容也仅仅局限于文本。另一方面,当前的扩散模型 DALL・E 2、Imagen、Stable Diffusion 等在视觉创作上掀起一场革命,但这些模型仅仅支持文到图的单
领取专属 10元无门槛券
手把手带您无忧上云