https://medium.com/@ewoutterhoeven/how-arms-neon-enables-efficient-av1-decoding-on-mobile-5fcb3a4f6e7f
因为工作原因，接触编解码也有一段时间了。AVC，HEVC，大大小小的功能都也接触了一些，关于编解码的原理的书和文章自己一直在看。从入门到略懂，感觉有些零零碎碎，或不完整，似乎串不成体系。有些小功能，知道是知道，并不知道它的意义和作用，时间一长也会慢慢忘记。 反思了一下，或许很多东西，还是需要自己动手做一遍，会理解的更深更透彻一些，就像费曼学习法，你能讲出来，才说明懂了，这个也一样，你能把功能实现出来，才说明你真的明白了里面的流程和逻辑。于是乎，在今年过年期间，突然萌生出了写一个解码器的想法，而且一萌生就一直压不住了，一直想赶快动键盘写起来。 其实目前市面上开源好用的解码器有不少，像ffmpeg，x264等等。自己这个工程，应该就是单纯的一个学习工程吧，估计最后再怎么优化也达不到这些大名鼎鼎的工程的效果和功能，但是那又怎么样呢，过程和经历也很棒，不是吗？ 刚开始的时候是想写过一个编码器的，思考了一下之后很快就放弃了，我目前的想法只是想熟悉协议，并不是侧重于编码算法，相比之下，编写一个解码器所需要的的知识正是我所需要的。 这就成了这一系列文章的的起因了，算是自己一边写代码，一边写总结吧。 虽说是从“零”开始，但是编解码的基础知识还是要有一些储备的，我会在每一章里对解码所涉及到的知识点做一个介绍和讲解，但是太零碎的，就不会一一说明了。如果知识点太大，可能会单独写一篇来总结。
文 / AndreyNorkin, Joel Sole, Kyle Swanson, Mariana Afonso, Anush Moorthy, Anne Aaron
source url: https://bitbucket.org/multicoreware/x265
libcrypt-2.23.so glibc glibc中的包含的库，现代哈希加解密
上一篇已经介绍了H.264和H.265之间的一些关系和基础，简单来说，H.265标准围绕着视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。
文/ Andrey Norkin, Joel Sole, Mariana Afonso,Kyle Swanson, Agata Opalach, Anush Moorthy, Anne Aaron
实现视频编码和解码的高效算法是一个复杂而庞大的领域，并且涉及到很多细节和技术。在Java中，我们可以利用一些库和工具来帮助我们实现视频编码和解码的功能。下面将介绍一些基本的概念和方法，以及一些常用的库和工具，以帮助您开始实现视频编码和解码的高效算法。
但最近，一款号称“世界上最快的PNG图像解码器”诞生了，速度是“老大哥”的1.22-2.75倍！
每一个从事音视频技术开发的工程师对FFmpeg都不会感到陌生，即使是刚刚踏入这个行业的初学者，但对他们来说这条路上好像有着一条不可逾越的鸿沟，“雷神”和许多大神都总结过一些FFmpeg的学习方法，小编在这里为大家做一个整理，方便大家有一个清晰的思路。
距离OpenCV 3.0发布已逾三年半了，终于在2018-11-20，OpenCV 4.0正式版强势来袭！至此开始OpenCV 4.x的王朝！
点击上方蓝字，发现更多精彩 什么是AVIF AVIF是一种基于AV1视频编码的新图像格式，相对于JPEG，WEBP这类图片格式来说，它的压缩率更高，并且画面细节更好。而最关键的是，它是免费且开源的，没有任何授权费用。 The AV1 format is and will always be royalty-free with a permissive FOSS license. 同时，它是由开放媒体联盟推动的一个标准，这个联盟包括了谷歌，微软，苹果等巨头，可以说是未来可期。 截止到目前(2021/3)
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
机器之心报道 编辑：rome rome DALL-E 已经能够很好地从文本生成图像，那么如何高效地实现语音合成呢？本文带你看微软最新推出的语音合成模型 ——VALL-E，它的效果将惊掉你的下巴。 近十年间随着神经网络和端到端建模的发展，语音合成技术取得了巨大突破。级联的文本到语音（TTS）系统通常利用声学模型 pipeline 和梅尔频谱作为中间表示的声码器。先进的 TTS 系统可以从单个或多个 speaker 合成高质量的语音，但仍需要高质量的 “干净” 数据。从网络上抓取的大规模数据无法满足要求，并且会
AI 科技评论按：自 2018 年以来，预训练无疑是自然语言处理（NLP）领域中最热门的研究课题之一。通过利用 BERT、GPT 和 XLNet 等通用语言模型，该领域的研究者们在自然语言理解方面已经取得了许多重大的突破。然而，对于序列到序列的自然语言生成任务，这些主流的预训练方法并没有带来显著的改进，对此，微软亚洲研究院提出了一个全新的通用预训练方法——MASS，在该任务中可以得到比 BERT 和 GPT 更好的效果。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期：RNNsearch、Multi-task、attention-mode
以下是百度百科对于H.265的介绍： H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清（分辨率在1280P720以下）数字图像传送；H.265则可以实现利用1~2Mbps的传输速度传送720P（分辨率1280720）普通高清音视频传送。
在开源软件盛行的今天，很多知名的C++国产软件都用到了一些大型C/C++开源库，比如暴风音影使用了多媒体处理开源库FFmpeg、腾讯会议使用了实时音视频处理开源库Webrtc、PC版微信使用了Chromium嵌入式框架开源库CEF等。今天我们就来介绍一下日常工作中常用的C/C++开源库，给大家提供一个借鉴和参考。
Webbench是一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600行。
Webbench是一个在Linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600行。
ffplay是一个很简单的播放器，但是初次接触仍会感到概念和细节相当繁多，分析并不容易。深入理解一项技术需要足够的时间和大量的实践，由浅入深逐步迭代，没有时间就成了最大难题。本次分析过程断断续续持续了挺久，先是边读代码边加注释，后面才整理了笔记，再加上理解浅薄很难精简语言，因此行文比较啰嗦。笔记记录仓促，错误难免，欢迎指正交流。后续若有时间继续研究，将持续修正错误完善文档。
Transformer 模型使用残差连接（residual connections）来使梯度更容易传播，在进行self(自我)-attention 加权之后输出，也就是 Self(自我)-Attention(Q, K, V)，然后把他们加起来做残差连接
选自Medium 作者：Harshvardhan Gupta 机器之心编译 参与：刘晓坤、路雪 去年，Facebook 发表论文《Unsupervised Machine Translation Using Monolingual Corpora Only》，提出使用单语语料库的无监督式机器翻译。近日 Medium 上一篇文章对该论文进行了解读，机器之心对此进行了编译介绍。 深度学习广泛应用于日常任务中，尤其擅长包含一定「人性」的领域，如图像识别。或许深度网络最有用的功能就是数据越多性能越好，这一点与机器
AI边缘智能硬件智能分析网关部署了多种AI深度学习算法，支持对视频流中的人、车、物、行为等进行智能检测与分析，对异常情况进行智能告警。该硬件可实现的AI智能检测与识别能力有：人脸检测、人脸识别、车辆检测与识别、车牌识别、电瓶车识别、安全帽识别、烟火识别、区域入侵识别、抽烟行为识别等。
在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq通过Python的Keras库创建我们的语言翻译模型。
https://blog.csdn.net/u011239443/article/details/80521026 论文地址：http://pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf
在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq体系结构通过Python的Keras库创建我们的语言翻译模型。
BERT是双向转换器（Bi-Transformer）的缩写。这是谷歌在2018年末开发并发布的一种新型语言模型。BERT等经过预处理的语言模型在问答、命名实体识别、自然语言推理、文本分类等自然语言处理任务中发挥着重要作用。
本篇介绍在NLP中各项任务及模型中引入相当广泛的Attention机制。在Transformer中，最重要的特点也是Attention。首先详细介绍其由来，然后具体介绍了其编解码结构的引入和原理，最后总结了Attention机制的本质。
参考论文下载：https://pan.baidu.com/s/1Er6Ybdh8Zn2-BZRykkD-Sg 提取码：wnni
超级值得收藏的C/C++资料宝库，汇总了 400+ 条 C++ 框架、库和工具 。
关于 C++ 框架、库和资源的一些汇总列表，内容包括：标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。
在基于词语的语言模型中，我们使用了循环神经网络。它的输入时一段不定长的序列，输入却是定长的，例如输入：They are，输出可能是watching或者sleeping。然而，很多问题的输出是不定长的序列。以机器翻译为例，输入是一段英文，输出是一段法语，输入和输出皆不定长，例如
作者 Antoine Tixier 表示整篇综述笔记也是他学习过程的一部分，所以这一文章还会在 arXiv 上继续更新。为了完成整篇文章，作者主要借鉴了各种卷积神经网络的原论文、斯坦福 CS231n 课程笔记、 Zhang 和 Wallace 关于在 NLP 中运用 CNN 的实战指南、基于 CNN 的文本分类论文等，这些构建了该综述文章卷积神经网络部分的主体内容。
在iOS4.0苹果开始支持硬编解码，不过硬编解码在当时还属于私有API,不提供给开发者使用。 在2014年的WWDC大会上，也就是iOS8.0之后，苹果才放开了硬编解码的API。VideoToolbox.framework是一套纯C语言的API，其中包含了很多C语言函数，同时VideoToolbox.framework是基于Core Foundation库函数，基于C语言VideoToolbox实际上属于低级框架，它是可以直接访问硬件编码器与解码器，它存在与视频压缩与解压以及存储在像素缓存区中的数据转换提供服务。
从 2018 年开始，预训练（pre-train） 毫无疑问成为 NLP 领域最热的研究方向。
编者按：从2018年开始，预训练（pre-train） 毫无疑问成为NLP领域最热的研究方向。借助于BERT和GPT等预训练模型，人类在多个自然语言理解任务中取得了重大突破。然而，在序列到序列的自然语言生成任务中，目前主流预训练模型并没有取得显著效果。为此，微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS，在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中，MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。
视觉语言预训练 (VLP) 提高了许多视觉语言任务的性能。但是，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，通过使用从web收集的嘈杂的图像-文本对来扩展数据集，在很大程度上实现了性能改进，但这是监督的次优来源。
tensorflow基于图结构深度学习框架，内部通过session实现图和计算内核交互。
本人的交叉编译平台是ubuntu 64bit，编译成动态库，然后让APP通过JNI来调用，跟其他程序的编译方式差不多。当然，首先需要系统内布置好NDK编译环境。Google提供了完整的编译工具链，也包括SDK，下载地址在这里：“NDK Downloads”。我在之前的一篇文章里也写了这部分，可以参考一下："NDK开发Android端RTMP直播推流程序"。
即从io.netty.buffer. ByteBuf ( 原始数据流) =》 io.netty.buffer .ByteBuf ( 用户数据)
要知道，将现有的代码库迁移到现代或者更有效的语言，如 Java 或 c + + ，需要精通源语言和目标语言，而且无论是金钱还是时间耗费都十分高昂。
📷 『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。 架构 Twitch 沈悦时：国内外互联网直播生态差异 本文来自Twitch Principal Research Engineer 沈悦时在LiveVideoStackCon 2018热身分享，并由LiveVideoStack整理而成。在分享中，沈悦时介绍了Twitch的运营内容与产业规模，并从成本与架构方面介绍了国内外直播生态的差异。 AV1挑起的Codec之战 AV1
教程地址：http://www.showmeai.tech/tutorials/36
在日常工作中，深度学习正在被积极地使用。与其他机器学习算法不同的是，深度网络最有用的特性是，随着它获得更多的数据，它们的性能就会有所提高。因此，如果能够获得更多的数据，则可以预见到性能的提高。 深度网络的优势之一就是机器翻译，甚至谷歌翻译现在也在使用它们。在机器翻译中，需要句子水平的并行数据来训练模型，也就是说，对于源语言中的每句话，都需要在目标语言中使用翻译的语言。不难想象为什么会出现这样的问题。因为我们很难获得大量的数据来进行一些语言的配对。 本文是如何构建的？ 这篇文章是基于“只使用语料库来进行无监督
近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
