H.264 媒体流 AnnexB 和 AVCC 格式分析 及 FFmpeg 解析mp4的H.264码流方法

[start code]NALU | [start code] NALU |...

([extradata]) | ([length] NALU) | ([length] NALU) | ...

第1字节：version (通常0x01)
第2字节：avc profile (值同第1个sps的第2字节)
第3字节：avc compatibility (值同第1个sps的第3字节)
第4字节：avc level (值同第1个sps的第3字节)
第5字节前6位：保留全1
第5字节后2位：NALU Length 字段大小减1，通常这个值为3，即NAL码流中使用3+1=4字节表示NALU的长度
第6字节前3位：保留，全1
第6字节后5位：SPS NALU的个数，通常为1
第7字节开始后接1个或者多个SPS数据
 SPS结构 [16位 SPS长度][SPS NALU data]

SPS数据后
第1字节：PPS的个数，通常为1
第2字节开始接1个或多个PPS数据
 PPS结构 [16位 PPS长度][SPS NALU data]

 //...
    AVPacket spsPacket, ppsPacket, tmpPacket;
    uint8_t startCode[4] = {0x00, 0x00, 0x00, 0x01};
    bool sendSpsPps = false;

    while (av_read_frame(_avFmtCtx, _avPacket) == 0) { // 能读到数据返回0，循环读取
     // 根据pkt->stream_index判断是不是视频流
        if (_avPacket->stream_index == _videoStreamIndex) {
         // 仅1次处理sps pps，也可以拿在while外面
            if (!sendSpsPps) { 
                int spsLength = 0;
                int ppsLength = 0;
                // extradata 数据指针，方便操作取其指针
                uint8_t *ex = _avFmtCtx->streams[_videoStreamIndex]->codecpar->extradata;
    
    // extradata;第6字节后5位表示SPS个数，通常为1，这里就省略判断处理，严谨期间还是要判断
    // 直接 取第7 8 俩字节作为SPS长度
                spsLength = (ex[6] << 8) | ex[7];
    
    // x[8+spsLength]表示PPS个数，通常为1，这里就省略判断处理
    // 取接下来两位作为PPS长度
                ppsLength = (ex[8 + spsLength + 1] << 8) | ex[8 + spsLength + 2];

    // 为spsPacket ppsPacket的data分配内存，类似malloc
    // 如果只是为了保存文件，可以不使用pkt结构，直接malloc就行
    // 分配的空间为sps或pps长度加上4字节的起始码
                av_new_packet(&spsPacket, spsLength + 4);
                av_new_packet(&ppsPacket, ppsLength + 4);
    
    // 给SPS拼前4字节起始码
                memcpy(spsPacket.data, startCode, 4);
                // 把SPS数据拼在起始码后面
                memcpy(spsPacket.data + 4, ex + 8, spsLength);
    
    // TODO: 这里可以把spsPacket.data数据写入文件 
    
    // 给PPS拼前4字节起始码
                memcpy(ppsPacket.data, startCode, 4);
                // 把PPS数据拼在起始码后面
                memcpy(ppsPacket.data + 4, ex + 8 + spsLength + 2 + 1, ppsLength);
                
    // TODO: 这里可以把ppsPacket.data数据写入文件 
    
                sendSpsPps = true;
            }

   // 下面处理读到pkt中的数据
            int nalLength = 0;
            uint8_t *data = _avPacket->data;
            // _avPacket->data中可能有多个NALU，循环处理
            while (data < _avPacket->data + _avPacket->size) {
             // 取前4字节作为nal的长度
                nalLength = (data[0] << 24) | (data[1] << 16) | (data[2] << 8) | data[3];
                if (nalLength > 0) {
                    memcpy(data, startCode, 4);  // 拼起始码
                    tmpPacket = *_avPacket;      // 仅为了复制packet的其他信息，保存文件可忽略
                    tmpPacket.data = data;   // 把tmpPkt指针偏移到实际数据位置
                    tmpPacket.size = nalLength + 4; // 长度为nal长度+起始码4
     
     //TODO: 处理这个NALU的数据，可以直接把tmpPacket.data写入文件
                }
                data = data + 4 + nalLength; // 处理data中下一个NALU数据
            }
        }

        av_packet_unref(_avPacket);
    }