音视频开发需要你懂得 ffmpeg 开源库的编码原理

科技 09-07 来源：愿天堂没有代码

引言

音视频开发需要你懂得音视频中一些基本概念,针对编解码而言,我们必须提前懂得编解码器的一些特性, 码流的结构,码流中一些重要信息如 sps,pps,vps,start code 以及基本的工作原理,而大多同学都只是一知半解,所以导致代码中的部分内容虽可以简单理解却不知其意

FFmpeg 是什么？

FFmpeg 既是一款音视频编解码工具，同时也是一组音视频编解码开发套件，作为编解码开发套件，它为开发者提供了丰富的音视频的调用接口

FFmpeg 中的 “FF” 指的是 “Fast Forward”，FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group”（动态图像专家组）

强大的功能

FFMpeg 提供了多种媒体格式的封装和解封装，包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等；FFmpeg 框架提供了多种丰富的插件模块，包含封装与解封装的插件、编码与解码的插件等

FFmpeg 模块分类

打开 FFmpeg 源码，会发现有一系列 libavxxx 的模块，这些模块很好地划分了代码的结构和分工

libavformat，format，格式封装
libavcodec，codec，编码、解码
libavutil，util，通用音视频工具，像素、IO、时间等工具
libavfilter，filter，过滤器，可以用作音视频特效处理
libavdevice，device，设备（摄像头、拾音器）
libswscale，scale，视频图像缩放，像素格式互换
libavresample，resample，重采样
libswresample，也是重采样，类似图像缩放
libpostproc，后期处理

FFmpeg 数据结构简介

AVFormatContext

封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息

iformat：输入视频的AVInputFormat
nb_streams ：输入视频的AVStream 个数
streams ：输入视频的AVStream []数组
duration ：输入视频的时长（以微秒为单位）
bit_rate ：输入视频的码率

AVInputFormat

每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体

name：封装格式名称
long_name：封装格式的长名称
extensions：封装格式的扩展名
id：封装格式ID  
一些封装格式处理的接口函数

AVStream

视频文件中每个视频（音频）流对应一个该结构体

id：序号
codec：该流对应的AVCodecContext
time_base：该流的时基
r_frame_rate： 该流的帧率

AVCodecContext

编码器上下文结构体，保存了视频（音频）编解码相关信息

codec：编解码器的AVCodec
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（ 只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频）

AVCodec

每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体

name：编解码器名称
long_name：编解码器长名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数

AVPacket

存储一帧压缩编码数据

pts：显示时间戳
dts ：解码时间戳
data ：压缩编码数据
size ：压缩编码数据大小
stream_index ：所属的AVStream

AVFrame

存储一帧解码后像素（采样）数据

data：解码后的图像像素数据（音频采样数据）。
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
width, height：图像的宽高（只针对视频）。
key_frame：是否为关键帧（只针对视频） 。
pict_type：帧类型（只针对视频） 。例如I， P， B。

FFmpeg的一些应用场景

下面介绍一下 FFmpeg 都用在了哪里（在这里仅列几个我所知的，其实远比这个多）。说白了就是为了说明：FFmpeg 是非常重要的。

使用 FFmpeg 作为内核视频播放器：

Mplayer，ffplay，射手播放器，暴风影音，KMPlayer，QQ影音...

使用 FFmpeg 作为内核的 Directshow Filter：

ffdshow，lav filters...

使用 FFmpeg 作为内核的转码工具：

ffmpeg，格式工厂...

事实上，FFmpeg 的音视频编解码功能确实太强大了，几乎囊括了现存所有的音视频编码标准，因此只要做音视频开发，几乎离不开它

至此，我们今天 FFmpeg 的相关编码原理就介绍到这里了；希望以上的内容能够对大家有所帮助，关于 FFmpeg 的相关技术问题，我们还要去好好的学习剖析；因此我把工作中遇到的音视频 FFmpeg 编码器问题，以及对网上大部分的资料的收集和整理，最终整合出了一份 《高级音视频开发学习笔记》，有需要这份学习笔记的朋友，可以私信发送 “笔记” 即可 免费获取