1.FFMPEG音视频同步-音频实时采集编码封装成MP4
2.FFMPEG详解(完整版）
3.图像格式--FFMPEG代码走读-TIFF格式编码
4.Centos7安装FFmpeg
5.FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg
6.音视频命令转换工具 - FFmpeg

FFMPEG音视频同步-音频实时采集编码封装成MP4

       音视频同步录制相关文章

       1、源码 ffmpeg-摄像头采集保存

       2、源码 ffmpeg音视频同步-摄像头采集编码封装

       3、源码 ffmpeg-音频正弦产生并编码封装

       4、源码 ffmpeg-音频实时采集保存

       5、源码 ffmpeg音视频同步-音频实时采集编码封装

       6、源码剑气除魔源码 ffmpeg音视频同步-音视频实时采集编码封装

       7、源码 ffmpeg音视频同步-音视频实时采集编码推流

       8、源码 ffmpeg音视频同步-音视频实时采集编码推流-优化版本

       系统环境：

       系统版本：lubuntu .

       Ffmpge版本：ffmpeg version N--g

       摄像头：1.3M HD WebCan

       虚拟机：Oracle VM VirtualBox 5.2.

       指令查看设备 ffmpeg -devices

       指令播放实时音频 ffplay -f alsa -showmode 1 -ac 2 -i default -ar

       Linux使用ffplay实时采集音频并实时播放_唐传林的源码博客-CSDN博客

       指令录制实时音频ffmpeg -f alsa -ar -i hw:0,0 audio.wav

       ffmpeg -f alsa -ar -i default ffmpeg_record_audio.wav

       ubuntu下用ffmpeg录制音频文件_ubuntu使用指令录制mp3音频_dingjianfeng的博客-CSDN博客

       指令分离音视频:ffmpeg -i test.mp4 -vn -y -acodec copy test.aac

       ffmpeg -i test.mp4 -vn -y -avcodec copy test.h

       本章文档基于ubuntu alsa格式。实时采集音频一帧数据并将其转化为pcm,源码编码成AAC,封装成mp4保存下来

       1.简介

       FFmpeg中有一个和多媒体设备交互的类库：Libavdevice。使用这个库可以读取电脑（或者其他设备上）的源码多媒体设备的数据，或者输出数据到指定的源码多媒体设备上。

       ffmpeg中的源码音频相关内容

       ffmpeg中AVPacket中可能会含有多个音频帧（AVFrame）,一个音频帧含有多个采样，采样率决定了1s有多少个采样（或者说一个音频帧可以播放多久）。源码对于aac,源码一帧有个采样，mp3一帧则固定为个字节。

       对于音频，由于有多声道的音频，那么音频解码出来的数据不同声道也储存在不同的指针，如data[0]是左声道,data[1]是右声道，由于各个声道的数据长度是一样的，所以linesize[0]就代表了所有声道数据的长度。

       成员extended_data则指向了data，是一个拓展，上面可以看到data 是包含8个指针的数组，也就是说对于音频，最多只支持8个声道

       如果是以下格式：

       只能保存再AVFrame的uint8_t *data[0]; 音频保持格式如下： LRLRLR。。。。

       如果是以下格式

       plane 0: LLLLLLLLLLLLLLLLLLLLLLLLLL…

       plane 1: RRRRRRRRRRRRRRRRRRRR…

       plane 0对于uint8_t *data[0];

       plane 1对于uint8_t *data[1];

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       音视频免费学习地址：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

       免费分享音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 加群免费领取~

       2.源码

       最简单的基于Libavdevice的摄像头数据读取一帧帧pcm数据，经过音频重采样获取目标AAC的音频源数据参数，保存成MP4文件

       3.验证

       3.1编译

       3.2结果

       使用软件mp4打开test.mp4,可以听到实时采集的音频

       3.3存在的问题

       1、本文档源码，采集ALSA获取的源数据是K,stereo声道，采样大小，经转换成pcm的格式，同样是K,stereo声道大小；不同的采样率会出现部分声音数据丢失，具体原因，在 《ffmpeg-音频实时采集保存》具体分析 ，涉及其他分辨率转换，不在本文讨论范围里。buffer源码分析

       2、由于本例程没有没有对ALSA音频进行重采样，（采样率，个采样点，双声道，bit），故若保存成ts，flv等封装格式是，默认采用的音频编码格式分别是mpga,mp3,其采样点为。所以运行此程序会有问题，数据无法写入。而且目前暂不探讨音频重采样问题。故想到一种解决方法是，指定AAC音频编码格式（ts,mp4等都支持AAC音频编码，参考《ffmpeg-摄像头采集编码封装》的表格）。

       4.附件

       无

       5.参考链接

       [1] ffmpeg之PCM转AAC

       FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [2]官方Encode pcm file to aac

       [FFmpeg-user] Encode pcm file to aac

       [3]PCM编码AAC,参考其普通PCM格式与AAC转格式差异 FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [4] 音频编码（一）--FFmpeg编码-腾讯云开发者社区-腾讯云

       原文链接： FFMPEG音视频同步-音频实时采集编码封装成MP4_qinyi_style的博客-CSDN博客

FFMPEG详解(完整版）

       FFMPEG详解

       FFMPEG是自由软件中最完备的多媒体支持库，几乎涵盖了所有常见数据封装格式、多媒体传输协议以及音视频编解码器。对于多媒体技术开发工程师来说，深入研究FFMPEG是必不可少的。它的重要性如同kernel之于嵌入式系统工程师。FFMPEG的大部分代码遵循LGPL许可证，少部分遵循GPL许可证，因此其被广泛应用于各种第三方播放器和商业软件中，但需要注意在商业应用中可能涉及专利风险。

       FFMPEG功能分为多个模块，如核心工具、媒体格式、编解码、设备和后处理模块，分别提供公用功能函数、实现多媒体文件读写、音视频编解码、设备操作以及音视频后处理。

       FFMPEG提供命令行工具ffmpeg，其使用方法包含三部分：全局参数、输入文件参数、输出文件参数，每组输入参数以‘-i’结束，每组输出参数以文件名结束。

       在使用FFMPEG时，需要熟悉基本选项、流标识、音频选项、视频选项等，同时，FFMPEG支持多种滤镜和高级选项，实现特定用例。hadoop map源码

       编译FFMPEG时，通过configure脚本实现定制和裁剪，以适应不同系统和需求。configure脚本生成的config.mak和config.h文件在Makefile和源代码层次上控制编译过程。

       深入FFMPEG示例程序包括解码功能，实现复杂多媒体播放器的基础解复用、解码、数据分析过程。用户接口涉及数据结构、编解码器、媒体流和容器等概念，通过FFMPEG提供的AVFormatContext、AVStream、AVCodecContext等结构进行抽象。

       时间信息在FFMPEG中用于实现多媒体同步，包括流内和流间同步。FFMPEG通过AVPacket结构为每个数据包打上时间标签，支持上层应用的同步机制。时间信息的获取和操作对于多媒体应用至关重要。

       FFMPEG的API分为读系列、编解码系列和写系列，实现媒体数据的获取、编码、解码和输出。关键函数包括avformat_open_input、avformat_find_stream_info、av_read_frame等，用于文件输入、流信息查找和数据读取。

       FFMPEG支持过滤链，通过AVFilter、AVFilterPad和AVFilterLink实现视频帧和音频采样数据的后续处理，如图像缩放、增强和声音重采样。

       综上所述，FFMPEG是多媒体开发工程师不可或缺的工具，其功能强大且适用范围广泛，深入理解FFMPEG对于开发高性能多媒体应用至关重要。

图像格式--FFMPEG代码走读-TIFF格式编码

       本文从FFMPEG源码角度解读TIFF编码内容，无需过多介绍，直接开启解读。TIFF编码涉及到的结构体TiffEncoderContext，用于存储与TIFF编码相关的上下文信息，包括编码上下文信息、长宽信息、压缩信息、yuv数据信息、缓冲区信息、python源码上传Strip信息，以及编解码算法和级别信息等。

       TIFF文件使用标签（Tags）存储图像的元数据和其他信息，每个标签存储特定类型的信息，如图像宽度、高度、颜色深度等。在FFMPEG中包含的所有tag相关数据可参照下图查看。

       此外，还存在特定的补充标签，如DNG和CinemaDNG格式。DNG是由Adobe开发的一种开放的RAW图像格式，基于TIFF/EP标准，在TIFF基础上增加了存储更多摄影信息和元数据的特定标签。CinemaDNG是一个基于DNG的开放标准，专为**和视频制作中的RAW图像序列设计，包含与静态图像DNG类似的标签，同时增加了一些特定于视频和**制作的标签，用于管理处理高动态范围的RAW视频数据。

       TIFF编码代码位于libavcodec\tiffenc.c文件中。ff_tiff_encoder描述了一个TIFF图像编码器，采用标准FFmpeg库的API封装，包含TIFF编码器的各种信息和函数指针，便于对接到FFMPEG框架。

       encode_init函数用于初始化TIFF编码器上下文，并进行必要的检查和设置。encode_close函数在编码器关闭时进行资源清理，确保无内存泄漏。add_entry将一个条目添加到TIFF文件目录中。encode_strip用于将图像数据编码为TIFF文件的一个条带。pack_yuv将YUV图像数据打包成适合TIFF格式的条带。

       encode_frame函数主要作用是将一帧图像编码为TIFF格式。具体步骤包括初始化上下文和变量、设置编码器上下文参数、处理不同像素格式、计算每行字节数和数据包大小、分配内存、处理图像数据、写入TIFF文件头、添加TIFF标签、写入目录偏移量并完成编码。

       至此，TIFF编码过程解析完毕。源码编译与调试有助于深入理解，增进对TIFF编码的认识。

Centos7安装FFmpeg

       FFmpeg是一款强大的音频和视频处理工具，支持录制、转换数字音频、css源码原理视频，并将其转化为流。它包含了一个先进的音频/视频编解码库libavcodec，保证了高可移植性和编解码质量。此项目由Fabrice Bellard发起，主要由Michael Niedermayer维护，许多开发者来自MPlayer项目，现项目托管于MPlayer项目组服务器。名称源于MPEG视频编码标准，"FF"代表"Fast Forward"，并支持GPU加速。FFmpeg功能强大，包括视频采集、格式转换、抓图、添加水印等。

       安装FFmpeg步骤如下：

       1、访问FFmpeg官网下载Linux版的4.1版本源码包。

       2、将源码包上传至Linux主机的/soft/ffmpeg目录。

       3、解压源码包。

       4、安装gcc和yasm编译器。

       5、指定安装目录为/soft/ffmpeg。

       6、执行configure命令，指定安装路径。

       7、执行make命令编译。

       8、执行make install命令安装。

       9、编辑/etc/ld.so.conf文件，添加FFmpeg安装目录的库文件路径。

       、运行ldconfig命令使配置生效。

       、执行./ffmpeg -version命令查看版本信息。

       、编辑/etc/profile文件，添加FFmpeg的bin目录到PATH环境变量。

       、运行source /etc/profile命令使环境变量生效。

       、再次执行ffmpeg -version命令，确认FFmpeg安装成功。

FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg

       FFmpeg是一款功能强大的多媒体编码和解码工具，支持Linux、macOS、Windows、Android等操作系统，如Ubuntu、Debian、Mint、CentOS、RHEL、Fedora等分支。

       在CentOS上编译安装FFmpeg涉及一系列步骤，确保工具包的安装，然后单独安装NASM、Yasm、libx、libx、libfdk_aac、libmp3lame、libopus、libvpx等依赖库。接着，配置并安装libx、libx、libfdk_aac等关键库，最后编译安装FFmpeg。具体步骤包括使用git下载源码，配置编译选项，执行make和make install命令，确保所有依赖正确安装。

       对于EulerOS（欧拉系统），基于CentOS源码开发，运行环境兼容CentOS。在欧拉系统上编译安装FFmpeg，同样需要安装一些基础工具和依赖库，如nasm、g++、openssl-devel、curl-devel、cmake、git等。接下来，下载并编译x、x和FFmpeg源码包，使用特定命令配置编译选项，并完成make和make install操作。最终，通过执行ffmpeg -version命令验证FFmpeg安装成功。

       通过遵循上述步骤，用户可以在不同操作系统如CentOS和EulerOS上成功编译安装FFmpeg，实现多媒体编码和解码功能。

音视频命令转换工具 - FFmpeg

       自媒体时代的兴起让视频制作变得普遍，从视频剪辑、添加背景音乐到特效处理，最终生成的新视频文件往往体积庞大。为方便上传和分享，格式转换或压缩成为必要步骤。

       FFmpeg是一款免费开源的多媒体视频处理工具，涵盖了视频采集、格式转换、视频抓图、水印添加等功能，提供音视频录制、转换和流化的全方位解决方案。

       FFmpeg在开源界享有盛誉，众多视频转换软件和播放器的基础功能或编码解码都依赖FFmpeg。遵循LGPL或GPL许可证，FFmpeg曾因某些播放器使用其源码未声明而闻名。

       FFmpeg可从源码编译安装，Linux发行版仓库普遍包含FFmpeg。官方提供二进制包，推荐使用官方static二进制包，无需额外动态库，包含ffmpeg、ffprobe、ffplay三个可执行文件。

       使用ffmpeg命令，可轻松转换视频格式，如将video.wma转换为mp4格式。FFmpeg支持多种编码格式，如h和h，后者压缩率更高，文件更小，但解码兼容性略逊一筹。

       ffmpeg命令还可用于视频压缩、截剪、翻转等功能，如将视频压缩到特定分辨率、截剪特定时间段、翻转视频方向等。

       FFmpeg支持GPU加速，尤其在处理h编码视频时，转换速度可大幅提升。查看支持的视频编码格式，可使用ffmpeg命令查看。

       ffprobe命令可用于查看视频文件信息，如编码格式、分辨率、码率等。ffplay命令用于播放视频文件，提供图形化播放器功能。

       FFmpeg可集成到程序或脚本中，实现视频自动转换等功能。FFmpeg还提供C调用和公共库集成，方便开发人员利用其功能。

FFmpeg源码分析：视频滤镜介绍(上)

       FFmpeg在libavfilter模块提供了丰富的音视频滤镜功能。本文主要介绍FFmpeg的视频滤镜，包括黑色检测、视频叠加、色彩均衡、去除水印、抗抖动、矩形标注、九宫格等。

       黑色检测滤镜用于检测视频中的纯黑色间隔时间，输出日志和元数据。若检测到至少具有指定最小持续时间的黑色片段，则输出开始、结束时间戳与持续时间。该滤镜通过参数选项rs、gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。

       视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。

       色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。

       去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。

       矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。

       绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。

       调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。

       将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。

ffmpeg源码笔记-查找编解码器(一)

       在ffmpeg-4.3.4版本中，处理编解码器的关键结构体AVCodec封装了底层编码器实现。查找编码器的方法有以下两种：

       首先，通过name字段，可以查看文件开头的extern结构体，如extern AVCodec ff_libx_encoder，其对应的名字为libx。为了支持x编码，需要在编译时启用相关选项，如--enable-x。

       另一种方法是通过enum AVCodecID id，这个在codec_id.h中定义。编码器查找通常在libavcodec/allcodecs.c中，如avcodec_find_encoder_by_name函数，它调用了find_codec_by_name，进而调用av_codec_iterate，最终可能涉及ff_thread_once函数。

       函数avcodec_find_encoder的调用流程不同，它寻找的是所有注册的编码器，而不是指定名称。调用avcodec_register后，会初始化一些全局变量，如av_codec_next_init。

       总结来说，avcodec_find_encoder_by_name提供了更强的控制性，但可能影响兼容性，如果FFmpeg不支持特定编码器，程序会失败；而avcodec_find_encoder则依赖系统选择，兼容性较好，开发者可以根据实际需求来选择使用。

       值得注意的是，源码中的codec_list数组虽然在源码中未直接定义，但会在编译时自动生成，包含系统支持的编码器列表。这部分信息可以在编译后的代码中找到，具体列表可在#include "libavcodec/codec_list.c"中查看，但实际源码中并未包含该文件。

ffmpeg 7.0 + vs +windows编译

       编译 FFmpeg 在 Windows 环境下的详细步骤如下：

       ### 必要前提：

       1. **Visual Studio **：确保已安装最新版本。

       2. **MSYS2**：安装 MSYS2，这将提供一个兼容的命令行环境。

       ### 开始编译：

       1. **打开 MSYS2 Shell**：使用 x Native Tools Command Prompt for VS 运行 MSYS2 shell。

       2. **安装依赖**：执行 `msys2_shell.cmd` 启动shell，然后运行安装命令。

       ### 下载 FFmpeg 源代码：

       bash

       wget /FFmpeg/FFmpeg/archive/refs/heads/master.zip

       unzip master.zip

       cd FFmpeg-master

       ### 配置 FFmpeg：

       使用以下命令进行配置，开启所有功能和使用 MSVC 作为编译器：

       bash

       ./configure --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --toolchain=msvc

       ### 编译 FFmpeg：

       运行编译命令：

       bash

       make

       ### 处理错误：

       - **ffprobe 相关错误**：确保在编译时已正确配置 VS 环境变量或在编译命令中指明 MSYS2 路径。

       - **ffprobe.c 行错误**：在指定行进行注释，以避免编译错误。

       - **静态库与调试信息**：使用 `--extra-cflags="-g"` 添加调试信息，对于 MSVC 使用 `--extra-cflags="-Zi"`。

       ### 验证安装：

       - 确保编译无误。

       - 检查生成库文件位于 `C:\msys\usr\local\ffmpeg` 目录下。

       通过上述步骤，你可在 Windows 环境下成功编译 FFmpeg，并进行调试或优化以满足具体需求。注意根据实际情况调整配置和处理编译错误。