原文：https://mux.com/blog/streaming-video-on-the-internet-without-mpeg/
1，修复http://www.discuz.net/forum-plugin-1.html在hover用户名字时，只显示一条宽线条的bug，原因是这个线条其实是个div，在common.js和ajax.js里通过xhr请求生成的。 此请求会返回一个xml，然后给libxml解析。但由于xml是gbk编码，libxml没带解码库所以失败了。另外有个点是，libxml其实不需要真正的gbk解码器，因为blink在 third_party\WebKit\Source\core\xml\parser\XMLDocumentParser.cpp的parseChunk里会传已解码好的数据，并且强制切换到utf16编码，但libxml会自己检查数据带的
在Mozilla，我们一直在努力研究新一代AV1视频编解码器。AV1可比HEVC（H.265）和Google VP9提高25％的编码效率，并由AOM开放媒体联盟（ Mozilla & ATEME都是是其一部分）开发。
随着最近H.266标准的完成，其惊人的复杂度令人生畏，与此同时，新兴的AOM组织于2018年年中耗时3年完成的AV1标准吸引了不少业内人的眼球，不仅仅是其有竞争力的编码性能，还有其在流媒体方面的优异表现，最重要的是其免专利费（royalty-free）使用这一项就会吸引各大厂商跟进。
2020年，直播带货火爆全网。想一探淘宝直播背后的前端技术？本文将带你进入淘宝直播前端技术的世界。
在这个 2022 年的编解码器进展中，我将介绍去年与 H.264、VP9、HEVC、AV1、多功能视频编码（VVC）、低复杂度增强型视频编码（LCEVC）和基本视频编码（EVC）有关的最重要的公告。编解码器有很多，但篇幅有限，所以本文只是简单介绍。
奇舞团是360集团最大的大前端团队，同样也是TC39和W3C会员，拥有Web前端、服务端、Android、iOS、设计、产品、运营等岗位人员，旗下的开源框架和技术品牌有SpriteJS、ThinkJS、MeshJS、Chimee、QiShare、声享、即视、奇字库、众成翻译、奇舞学院、奇舞周刊、泛前端分享等。
Image crate是 Rust 最受欢迎的图像处理库，现已发布新版本！它为各种图像格式带来了加速和其他增强功能。
编码结束后，调用函数speex_bits_destroy(&bits)，speex_encoder_destroy(enc_state)来销毁SpeexBits和编码器。
像 MP3、MP4、WebM 这些 视频格式，定义了构成媒体文件的音频轨道和视频轨道的储存结构，其中还包含描述这个媒体文件的元数据，以及用于编码的编码译码器等等。
MPEG-4 Part 14（MP4）是最常用的容器格式之一，通常文件以.mp4结尾。它不仅能用于HTTP上的动态自适应流传输（DASH），还能用于Apple提出的的HLS流传输。MP4基于QuickTime文件格式标准下的ISO基础媒体文件格式（MPEG-4 Part 12）。MPEG代表Moving Pictures Experts Group，是国际标准化组织（ISO）和国际电工委员会（IEC）合作建立的组织。MPEG的设立是为了规范音频和视频压缩和传输的标准。MPEG-4则指的是对视频的编码。MP4支持多种编解码器。最常用的视频编解码器是H.264和HEVC。AAC是最常用的音频编解码器。AAC是著名的MP3音频编解码器的后继者。
蔡砚刚：大家好，我是蔡砚刚，来自深圳市优微视觉科技有限公司，也是一名在音视频领域摸爬滚打多年的老兵。目前主要负责优微视觉的前进方向以及主持公司的日常业务活动。在这里我更期望先介绍一下我们的团队，我们团队核心成员均出自北京大学数字视频编解码技术国家工程实验室：有在北大学习工作十六载并持续优化编解码器的王振宇，有在腾讯工作过的韩冰杰，有在人民银行工作过的李旭峰，我本人曾在阿里、快手等公司工作过。“十年磨一剑，霜刃未曾试。今日把示君，谁有不平事。”经过大家十年间的持续积累与摸索，我们拥有了自己的u264、u265、uavs、uavs+、uavs2、uavs3等编解码器，并且我们的内核也普遍应用到广电与互联网领域。
Decoder++是一款专用于渗透测试的多数据格式编码解码工具，该工具是一款可扩展的工具，专为渗透测试人员和软件开发人员设计，可以将目标数据编码/解码为各种不同的数据格式。
随着音视频业务的快速发展，作为前端工程师，我们团队也逐步深入到音视频编解码领域，涉及到流媒体技术中的文本、图形、图像、音频和视频多种理论知识的学习，并有机会大规模应用到具体实践中。
点击上方蓝字，发现更多精彩 什么是AVIF AVIF是一种基于AV1视频编码的新图像格式，相对于JPEG，WEBP这类图片格式来说，它的压缩率更高，并且画面细节更好。而最关键的是，它是免费且开源的，没有任何授权费用。 The AV1 format is and will always be royalty-free with a permissive FOSS license. 同时，它是由开放媒体联盟推动的一个标准，这个联盟包括了谷歌，微软，苹果等巨头，可以说是未来可期。 截止到目前(2021/3)
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Demuxed-18-Highlights-The-Future-of-Codecs-and-Compression-128609.aspx
随着近些年直播技术的不断更新迭代，高画质、低带宽、低成本成为直播行业追求的重要目标之一，在这种背景下，H.264 标准已成为行业主流，而新一代的 HEVC（H.265）标准也正在直播领域被越来越广泛地采用。花椒直播一直在对 HEVC（H.265）进行研究、应用以及不断优化。
Stock Prediction Models - Gathers machine learning and deep learning models for Stock forecasting, included trading bots and simulations
编码器-解码器模型提供了使用递归神经网络来解决有挑战性的序列-序列预测问题的方法，比如机器翻译等。
本文是来自Demuxed2020的一篇演讲，演讲者是来自Visionular的Zoe Liu，演讲的主题是介绍解码器复杂度感知的AV1编码优化。
【导读】这篇博文介绍了如何在深度学习框架Keras上实现文本摘要问题，探讨了如何使用编码器-解码器递归神经网络体系结构来解决文本摘要问题，如何实现文本摘要问题的不同的编码器和解码器，博文通俗易懂，专知内容组整理出来，希望大家喜欢。 Encoder-DecoderModels for Text Summarization in Keras 用Keras实现基于Encoder-Decoder的文本自动摘要 作者：Jason Brownlee 译者：专知内容组 ▌文本摘要概述 ---- 文本摘要是从一个源文档中
ffplay 命令的 -codec:media_specifier 参数 用于 设置 多媒体解码器 , 通过该参数 可以 为 不同的媒体类型 ( 音频 / 视频 / 字幕 ) 指定解码器 ;
【导读】近日，人工智能学者Ravindra Kompella发表一篇博客，介绍了作者实现的基于keras的机器翻译例子。作者通过一个seq2seq编码器-解码器网络实现英语到法语的自动翻译。作者在博文中详细介绍了自己的模型架构和训练数据，并使用代码片段分步骤对训练过程进行讲解。总之，这是一篇比较详尽的机器翻译应用示例教程，如果你有从事机器翻译或seq2seq模型相关的研究，可以详细阅读一下，相信一定对您的工程和理论都有所帮助。专知内容组编辑整理。 Neural Machine Translation——Us
Jonathan 首先介绍了视频编解码器产生的整数溢出失真，如下图所示。事实上，很难计算出编解码器中整数需要多大才能避免这个问题。设计的足够大的整数实际上并不够大，当然太大的整数也会造成实现成本上升。
| 导语 随着短视频兴起，音视频技术已经越来越火热，或许你之前有了解过如何在前端处理音视频，但随着视频文件的逐渐增大、用户体验要求的不断提高，纯前端处理音视频的技术也推成出新。下面将结合实际案例，讲解如何使用 FFmpeg 和 WebAssembly 实现前端视频截帧。文章较长，也非常硬核，建议先收藏再慢慢看。 背景 腾讯课堂涨知识创作者后台，目前主要通过邀请合作老师来平台上发布视频。上传视频的同时，需要对视频进行截帧生成推荐封面，生成规则比较简单，根据视频总时长，平均截取 8 帧。用户可以从其中选择一张
据我所知，这是第一次有研究对代表基本视频编码（Essential Video Coding，EVC）、通用视频编码（Versatile Video Coding，VVC）和低复杂度增强视频编码（Low Complexity Enhancement Video Coding，LCEVC）的编解码器以及 AV1、HEVC 和 H.264 的质量和性能进行比较。它并不像我希望的那样详尽，但结果应该有助于你了解三个较新的 MPEG 编解码器的目标，以及它们与旧编解码器的对比情况。
分割任务中的编码器encode与解码器decode就像是玩“你来比划我来猜”的双方：比划的人想把看到的东西用一种方式描述出来，猜的人根据比划的人提供的信息猜出答案。
本文来自PCS 2021的一次Keynote，演讲者是来自Intel的Jill Boyce，演讲题目是“Video Codec Standardization and Ecosystem Update”，主要介绍了视频编解码器的标准化和进展。
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
在本文中，我们将分析一个经典的序列对序列(Seq2Seq)模型的结构，并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transformer奠定基础，因为“注意就是您所需要的一切”。
AI 科技评论按：在自然语言处理任务中，循环神经网络是一种常见的方法，但近来，一种只依赖于注意力机制的特定神经网络模型已被证明它对于常见的自然语言处理任务的效果甚至优于循环神经网络模型，这个模型被称为变换器（Transformer）。同时，数据科学家 Maxime Allard 发表了相应的文章对变换器的原理机制作了介绍与讲解，并用相应的实验帮助大家更好的理解这种神经网络模型，AI 科技评论将其编译如下。
论文地址：https://arxiv.org/pdf/2005.12872.pdf
编者按：从2018年开始，预训练（pre-train） 毫无疑问成为NLP领域最热的研究方向。借助于BERT和GPT等预训练模型，人类在多个自然语言理解任务中取得了重大突破。然而，在序列到序列的自然语言生成任务中，目前主流预训练模型并没有取得显著效果。为此，微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS，在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中，MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。
从 2018 年开始，预训练（pre-train） 毫无疑问成为 NLP 领域最热的研究方向。
以下是百度百科对于H.265的介绍： H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清（分辨率在1280P720以下）数字图像传送；H.265则可以实现利用1~2Mbps的传输速度传送720P（分辨率1280720）普通高清音视频传送。
原标题：LCEVC vs. AVC – Incredible 28% Gain at 3x Speed
循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。从那以后，Transformer被应用到多个自然语言处理方向，到目前为止还未有新的架构能够将其替代。可以说，它的出现是自然语言处理领域的突破，并为新的革命性架构（BERT、GPT-3、T5等）打下了理论基础。 Transformer由编码器和解码器两部分组成。首先，向编码器输入一句话（原句），让其学习这句话的特征，再将特征作为输入传输给解码器。最后，此特征会通过解码器生成输出句（目标句）。 假设我们需要将一个句子从英文翻译为法文。如图所示，首先，我们需要将这个英文句子（原句）输进编码器。编码器将提取英文句子的特征并提供给解码器。最后，解码器通过特征完成法文句子（目标句）的翻译。
大型语言模型 (LLMs) 最近在代码层面的一系列下游任务中表现十分出彩。通过对大量基于代码的数据 (如 GitHub 公共数据) 进行预训练，LLM 可以学习丰富的上下文表征，这些表征可以迁移到各种与代码相关的下游任务。但是，许多现有的模型只能在一部分任务中表现良好，这可能是架构和预训练任务限制造成的。
AI 研究发展的主要推动力是什么？在最近的一次演讲中，OpenAI 研究科学家 Hyung Won Chung 给出了自己的答案。
音视频 文件 从 采样 -> 处理 -> 得到原始数据帧队列 -> 音视频编码 -> 音视频包队列 -> 格式封装 的过程如下 :
在使用Netty进行通信开发，如何选择编码器？在TCP粘包/拆包的问题如何解决？服务端在启动 流程是什么样的？连接服务流程是什么？
2015年，Segnet模型由Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla发表, 在FCN的语义分割任务基础上，搭建编码器-解码器对称结构，实现端到端的像素级别图像分割。
BERT通常只训练一个编码器用于自然语言理解，而GPT的语言模型通常是训练一个解码器。如果要将BERT或者GPT用于序列到序列的自然语言生成任务，通常只有分开预训练编码器和解码器，因此编码器-注意力-解码器结构没有被联合训练，记忆力机制也不会被预训练，而解码器对编码器的注意力机制在这类任务中非常重要，因此BERT和GPT在这类任务中只能达到次优效果。
原标题：The Streaming Codec Landscape in 2021
seq2seq模型也称为Encoder-Decoder模型。顾名思义，这个模型有两个模块——Encoder（编码器）和Decoder（解码器）。编码器对输入数据进行编码，解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息，解码器基于这个浓缩的信息生成目标文本。
深度学习算法(第24期)----自然语言处理(NLP)中的Word Embedding 前几期我们一起学习了RNN的很多相关知识，今天我们一起用这些知识，学习下机器翻译中的编码解码网络.
简介： 视频数据是目前互联网流量中最大的一部分，占用的带宽比重较大。而通常在视频流媒体应用中，播放端可以达到的最高质量水平与可用带宽直接相关，因此高效的视频编码器对于视频内容提供商而言可以有效降低带宽成本。目前市场上最主要的视频编解码器AVC/H.264被广泛用于流媒体应用，但是构建H.264的编码技术已经过时，而像HEVC这样的新一代视频编解码器可以在保持视频质量不变的同时将带宽需求降低高达50％。但是，由于许可费用昂贵且具有不确定性，HEVC从发布到现在已经有四年多的时间了，目前还没有被广泛部署。近
本文是来自 Bitmovin 的 视频编码工程师 Christian Feldmann 在 Demuxed 2020上的演讲，主题是“HRD 假想参考解码器，或vbv-bitrate不是比特率”。
在基于词语的语言模型中，我们使用了循环神经网络。它的输入时一段不定长的序列，输入却是定长的，例如输入：They are，输出可能是watching或者sleeping。然而，很多问题的输出是不定长的序列。以机器翻译为例，输入是一段英文，输出是一段法语，输入和输出皆不定长，例如
伴随着生成式深度学习模型的飞速发展，自然语言处理（NLP）和计算机视觉（CV）已经经历了根本性的转变，从有监督训练的专门模型，转变为只需有限的明确指令就能完成各种任务的通用模型。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
