转载: http://msching.github.io/blog/2014/07/07/audio-in-ios/
以我们电脑保存的电影说起，其实它就是通过摄像机和话筒对音视频采集、编码、封装之后的数据。当我们使用播放器进行观看的时候就是进行逆向过程解封装，解码音视频，然后把音频视频数据分别发送到我们的显示器和音响（音视频同步）。互联网的发展让在线视频的播放更加普及，因此视频的在线传输则需要用到相关的流媒体协议（rtmp协议，rtsp协议）。
近期技术人员从宇视官网下载sdk进行二次开发时，在启动实时直播，并通过回调函数拿到流数据，发现没有音频流数据。
接上篇 SDL 播放 PCM 音频文件，已经实现了 推 的模式去播放，接下来看看 拉 的模式如何实现。
在分享视频播放器的原理之前呢，我们先简单的看一下播放器在播放网络视频文件和本地视频文件的经过。播放网络视频文件：开始→解协议→解封装→解码音视频→音视频同步→结束。播放本地视频文件：开始→解封装→解码音视频→音视频同步→结束。其实在直播平台建设时，需要很多的步骤和工具，视频播放器只不过是其中一个，但却是非常重要的“小组件”之一。
Android 平台提供了一套丰富的音频 API，使得开发者可以轻松地为应用添加音频播放、录制、处理等功能。这些 API 包括：
借用PortAudio采集和播放音频，实现一个双路混音器 混音，顾名思义，就是把多个音源混合的过程，是一个很常见的应用。这两天我也做了一个双路混音器，当然，我没有做多么专业的音频信号处理，只是一个简单的混音，调节各路音量，并实现了一些音效处理。主要功能有：采集硬件设备，读取wav文件，播放，混音，音量调节，音频节奏、音调的调节，wav文件输出。这么多功能，我们不需要一个一个全部自己实现，有时候，借助开源项目，尤其是比较成熟的开源项目，不但可以大大节省开发时间，还能使程序更加稳定。即便不能直接在自己的项目
在线直播可以说从去年开始变成了一个火爆的创业领域，一下子出来了很多做视频直播的公司。但说实话这方面的技术书籍实在是非常的少，网上的资料也很零散，所以我决定写一些列介绍视频技术的文章。今天这篇文章先对视频技术中的基础概念做一些简单的总结。
根据直播系统开发协议类型（如RTMP、RTP、RTSP、HTTP等），与服务器建立连接并接收数据；
① ADIF 格式 : 音频数据交换格式 ( Audio Data Interchange Format ) , 只有一份音频解码信息 , 存储在文件开头 , 这种格式适合存储音频文件 , 节省空间 , 但是必须从开始播放才可以 , 从中间位置无法播放 ;
FFmpeg结合SDL可以播放音频文件，也能播放视频文件中的音频流，《FFmpeg开发实战：从零基础到短视频上线》一书第10章的示例程序playaudio.c支持播放mp3和aac两种格式的音频，却不支持播放其他格式的音频。
音频采集的主要工作是通过输入设备将声音采集并转码为音频数据，同时对采集任务进行管理。
之前用ffmpeg解码出来了音频，只是做了存储部分，比如存储成aac文件，播放的话早期用的是sdl来播放音频，自从Qt5以后提供了QAudioOutput来播放输入的音频数据，就更加方便了，可以直接将解码好的音频数据写入就能播放了，这些就少了个学习sdl的成本，而且和Qt就更加融合，不需要额外的第三方库，解码好的视频，其实就是一张张图片数据，可以直接用QPainter绘制或者QOpenGlWidget通过GPU显示，解码好的音频用QAudioOutput播放，这对于很多初学者来说，是个很好的消息，完美。
下图引用自“雷霄骅，视音频编解码技术零基础学习方法”，因原图太小，看不太清楚，故重新制作了一张图片。
本文主要介绍了如何使用 Web Audio API 实现音频的剪辑、处理、合成和播放功能。作者通过实例演示了如何使用 Web Audio API 实现音频的剪辑、处理、合成和播放功能，包括音频的选帧、剪辑、淡入淡出、变速、变调、合成、播放控制等功能。此外，作者还介绍了 Web Audio API 的音频处理、合成和播放控制的用法，并提供了详细的示例代码。
现今短视频、小视频的应用随处可见，用户量也在持续上涨，作为一个测试人员，我们要保障视频播放应用的质量就必须了解视频相关技术，需要对视频相关知识有更全面的认知。本文主要给大家介绍一些视频的相关知识。
1 . AAudio 音频流内部缓冲区本质 : 该缓冲区是在音频设备中进行维护的 , AAudio 音频流会先将数据传入该缓冲区 , 然后才进行播放 ;
上篇已详细解读了TWS蓝牙耳机游戏时延的测试方法，那么如何衡量游戏时延的好与坏？以及游戏时延该如何优化呢？本篇章将重点解读蓝牙耳机游戏时延的评测标准和绿盟各成员给出的一些优化建议。
本次分享主要是将JNI层的声音采集，传输以及播放过程做相应介绍，若是大家有更好的优化建议，欢迎指教。
HarmonyOS音频模块支持音频业务的开发，提供音频相关的功能，主要包括音频播放、音频采集、音量管理和短音播放等。
前言 相关文章： 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 使用AudioToolbox编码AAC 使用AudioToolbox播放AAC HLS点播实现（H.264和AAC码流） HLS推流的实现（iOS和OS X系统） iOS在线音频流播放 Audio Unit播放PCM文件 Audio Unit录音（播放伴奏+耳返） 前面两篇介绍了Audio Unit播放PCM文件和边录边播，这次引入AudioConvert实现aac/m4a/mp
教科书般的教程、课程中对视频文件结构的描述非常详细，此处不赘述，简单地说，视频文件也是一种文件，是文件，就是一堆二进制数的集合，而且是一个一维的二进制数的集合。因此，视频文件中的视频流、音频流，甚至可能包含的字幕流是如何存放的呢？
开始实现之前，首先简单介绍该音频库模块，音频库类Audio Database继承自Scriptable Object类，是一个可配置的资源文件：
音频数字化就是将模拟的(连续的)声音波形数字化(离散化)，以便利用数字计算机进行处理的过程，主要参数包括采样频率（Sample Rate）和采样数位/采样精度（Quantizing，也称量化级）两个方面，这二者决定了数字化音频的质量。
将AudioClip资产拖拽到“Drop AudioClips Here”区域以添加音频数据
在语音社交系统中最常见的交互模块就是语音连麦、聊天室、点赞、礼物打赏等，在用户信息交互时涉及到语音信息的实时性和互动，多以在技术实现上大多会使用IM功能来实现，在高并发场景下，聊天室内的弹幕信息量非常大，为了缓解服务器的压力，语音社交系统在开发时也会做出一些必要的优化。
Apple 平台上如果涉及到音频采集, 很难避开 AudioUnit 这个工具库, AudioUnit 是 Audio Toolbox 下的一套有年头的 C API, 功能相对也比较强大, 虽然苹果最近几年推出并逐渐在其基础之后完善了一套 AVAudioUnit 的 OC/Swift 的 API, 但 AudioUnit 依然有很广泛的使用, 而且了解这套 C API 也对理解 AVAudioUnit 内部的实现和使用有很大的帮助.
ffplay是一个很简单的播放器，但是初次接触仍会感到概念和细节相当繁多，分析并不容易。深入理解一项技术需要足够的时间和大量的实践，由浅入深逐步迭代，没有时间就成了最大难题。本次分析过程断断续续持续了挺久，先是边读代码边加注释，后面才整理了笔记，再加上理解浅薄很难精简语言，因此行文比较啰嗦。笔记记录仓促，错误难免，欢迎指正交流。后续若有时间继续研究，将持续修正错误完善文档。
随着近年来直播行业的飞速发展，直播平台开发的技术日益成熟，直播系统的应用场景也越来越广泛，也离不开流媒体传输的技术支持，本文就主要介绍了当前主流的流媒体传输中推流端及播放端分别需要几步。
Netflix的应用程序可以在数百台智能电视、电视棒和付费电视机顶盒上运行。Netflix的合作工程师的角色是帮助设备制造商在他们的设备上启动Netflix应用程序。在这篇文章中，我们将讨论一个特别困难的问题，它影响了一款设备在欧洲的正常发布。
在 【Android 高性能音频】Oboe 开发流程 ( 导入 Oboe 库 | 使用预构建的二进制库和头文件 | 编译 Oboe 源码 ) 博客中介绍了 如何导入 Oboe 函数库到项目中 , 本博客中在导入 Oboe 函数库的基础上 , 进行 Oboe 播放器功能开发 ;
录制服务生成了一些 m3u8 文件，现在，把这些 m3u8 文件推流上屏之后，出现了规律性卡顿。但是播放视频源文件，发现文件本身没有问题，播放很流畅。
PCM 全称 " Pulse Code Modulation " , 脉冲编码调制 , 该 音频数据 是未经压缩的 采样裸数据 , 只有 知道该数据的 采样率 / 采样位数 / 通道数 才能将该音频数据播放出来 ;
播放卡顿是播放体验中另一个非常重要的指标，字节跳动曾经提供过一份数据：降低 7.7% 的卡顿率和 9.8% 的卡顿时长，带来了 0.22% 的用户观看时长提升。
音视频的发展正在向各个行业不断扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要.本人也是从实习开始接触音视频项目,看过很多人的文章，在这里总结一个通俗易懂的文章，让更多准备学习音视频的同学更快入门。
如果我们要播放一段声音，想当然的认为直接将播放的声音发送给声卡，这样扬声器就会将声音播放出来。只要我们不断的送数据，声音就会不停的输出。
一直想把视音频编解码技术做一个简单的总结，可是苦于时间不充裕，一直没能完成。今天有着很大的空闲，终于可以总结一个有关视音频技术的入门教程，可以方便更多的人学习从零开始学习视音频技术。需要注意的是，本文所说的视音频技术，指的是理论层面的视音频技术，并不涉及到编程相关的东西。
链接：https://community.arm.com/cn/b/blog/posts/nucleof429-2-pwm
耽误了很久，一直想写音视频开发的教程，一方面，音视频的发展正在向各个行业扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要。另一方面，公司的业务也在逐渐向音视频靠拢，我需要先将积累的知识点重新梳理后分享给其他同学。
这里主要是为了区分两个不同的解码器而使用了 -vcodec 参数，并将其值设为 mpeg4 或 h264。
在直播app平台搭建中，需要才用到非常多的技术手段，例如视频/音频处理，图形处理、视频/音频压缩、CDN分发等，每一个技术都够学好几年的。今天就跟大家介绍一下开发一套视频直播系统，整个流程中所运用到的技术流程大概是哪些。
* 播放本地 MP4 视频文件 `test.mp4` 的命令，从第 2 秒位置开始播放，播放时长为 10 秒，并且在窗口标题中显示 "test time"：
以下是一个使用Reachability库和Objective-C编写的爬虫程序，用于爬取高音质的免费音频。通过get_proxy的代码示例完美抓取数据。
在android中播放声音可以用MediaPlayer和AudioTrack两种方案的，但是两种方案是有很大区别的，MediaPlayer可以播放多种格式的声音文件，例如MP3，AAC，WAV，OGG，MIDI等。而AudioTrack只能播放PCM数据流。
视频播放主要经历这么几个步骤：解协议 -> 解封装 -> 解码音视频 -> 音视频同步，流程如下图：
语音交友直播间 Web 端使用 WebRTC (Web Real-Time Communications) 实现多路音频流传输的播放。但由于云服务等原因，看播端我们需要改成 HTTP-FLV 或 HLS 协议的媒体服务。并实现
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
