1.FFmpeg/WebRTC/RTMP音视频流媒体技术
2.RTSP流媒体服务器的媒体搭建与测试《带源码》
3.SRS(simple-rtmp-server)流媒体服务器源码分析--启动
4.分析流媒体服务器源码：Rtmp发布流程的SRS解析
5.SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play
6.SRS流媒体服务器——单机环境搭建和源码目录介绍

FFmpeg/WebRTC/RTMP音视频流媒体技术

       深入探索FFmpeg、WebRTC和RTMP的交易音视频流媒体技术，本文将逐步为您解析各个领域的源码重要知识点与实战技巧。

       首先，媒体音视频基础知识不容忽视。交易对于FFMPEG环境搭建，源码画三角源码无论是媒体Windows还是Linux平台，我们都应熟练掌握。交易此外，源码深入理解音频与视频的媒体基础，使用如Medialnfo与VLC播放器等常用工具，交易将使我们对音视频处理有更全面的源码认识。

       接下来，媒体FFMPEG命令是交易音频、视频处理的源码利器，涵盖视频录制、多媒体文件分解与复用、裁剪与合并、与视频互转、直播相关操作，以及各种滤镜应用。编程实战中，音视频渲染需借助SDL环境，包括事件处理、线程操作、YUV视频播放与PCM声音播放。FFmpeg API的框架、内存模型与常用结构体，构成了更深层次的音视频处理能力。音视频编码领域，AAC与H编解码原理、解码与编码流程深入解析，使我们掌握音视频编码的核心。封装格式如FLV、MP4与多媒体转封装格式实战，是音视频分发的关键。音视频过滤器实战则聚焦于音视频过滤器的使用，包括视频过滤器的详细说明。播放器开发实战涉及播放器框架分析、音视频解码、口袋有火影源码播放控制与同步，掌握ffmpeg播放器源码解析，如ffplay.c中的意义，将使我们全面掌握播放器开发。

       流媒体技术的深入理解是音视频技术的关键。了解RTMP、HLS、HTTP-FLV等流媒体协议，wireshark抓包技术，FFmpeg在流媒体服务器中的应用，以及首屏秒开技术、负载均衡部署方式，将使我们能够构建高效、稳定的流媒体服务。

       最后，WebRTC技术的发展与应用是音视频领域的一大亮点。从中级开发到高级开发，深入研究WebRTC通话原理，搭建开发环境，配置coturn服务器，采集音视频数据，理解一对一会话流程，设计信令服务器，实现Web与Android、iOS间的通话，掌握AppRTC，将使您成为WebRTC开发的专家。高级开发中，自定义摄像头分辨率、调整编码器顺序、实现多方通话、利用Janus框架构建会议系统，以及理解拥塞控制算法、FEC、jitter buffer等，将使您的WebRTC项目更具竞争力。

       本文旨在为您提供FFmpeg、WebRTC与RTMP音视频流媒体技术的全面解析与实战指导，更多音视频相关信息，qq诱导分享源码欢迎继续探索与实践。

RTSP流媒体服务器的搭建与测试《带源码》

       搭建与测试RTSP流媒体服务器，通过C++实现，支持Linux和Windows编译环境，使用VLC客户端进行测试，功能包括RTSP的多种操作、SDP生成、RTP打包和TS文件解析，附带源码分析文档。

       新增功能包括：

       别名功能：通过替换真实的文件名和路径，以更友好、更短的URL发布资源，增强用户体验。

       内容缓存：在多台服务器间传输多媒体文件，提升客户播放内容品质，节约传输成本，优化内容交付路径。

       定制日志：灵活定义信息捕捉规则与时间，支持默认模板或自定义模板，便于系统报告生成。

       SLTA功能：模拟直播传输代理，支持多种流媒体格式，提供更强大的发布方式，实现流媒体直播体验。

       RTSP缓存指示：控制哪些内容应被缓存在Helix Universal Server，提供更大缓存灵活性。

       冗余服务：为内容发布提供等级选择，确保在RealOne Player断开后，可切换至另一服务器连接，保证播放连续性。

       Windows Media流媒体支持：通过MMS协议或HTTP协议向Windows Media Player传输流媒体，支持与Windows Media Encoder的连接，实现多格式流媒体发布。

       MPEG流媒体支持：发布MPEG-1、MPEG-2、MP3及MPEG-4格式内容，确保多种音频与视频格式的兼容性。

       智能流：在保证带宽的前提下，使用智能流优化Real音频或Real视频广播，小程序 客服 源码确保客户端接收合适的码率。

       RealOne Player统计：增强客户统计状态，返回更详细信息，利用TurboPlay功能优化播放体验。

       搭建网络直播电视，支持多种流媒体格式，如音频文件（RealAudio、Wav、Au、MPEG等）、视频文件（RealVideo、AVI、QuickTime等）及其他类型内容，通过Helix Producer将不支持的文件转换为可支持的格式。

       提供多种服务模式，包括点播、直播与模拟直播，满足不同场景需求。Linux环境下安装配置，包括域名或IP地址绑定、加载点配置、服务器连接控制、访问控制与服务器监控，确保系统稳定运行。

       RTSP流媒体服务器通过避免视频文件被浏览器通过HTTP下载，优化了内容传输效率。建议在中小型视频点播服务中使用RAID 5，以提升数据安全性和读取速度，同时控制成本。提供丰富文档、问题解答、学习资源、资料视频与源码分享，支持C/C++、Linux、Nginx、golang等技术栈学习与实践。

SRS(simple-rtmp-server)流媒体服务器源码分析--启动

       小卒最近探索了SRS源码，并撰写博客以整理思路，迪士尼乐园全套源码方便日后查阅。SRS源码具备以下优势：

       1、轻量化设计，代码结构清晰，SRS3.0版本代码量约为8万行，功能却足以支撑直播业务。

       2、采用State Threads架构，实现高性能、高并发。

       3、支持rtmp和hls，满足PC和移动直播的需求。

       4、支持集群部署，适应不同规模的部署需求。

       代码分析分为两个阶段：一、梳理代码框架，理解流程；二、深入细节，熟悉SRS工作原理。

       SRS源码框架包括系统启动、RTMP消息处理、RTMP信息发布、HLS切片等功能模块。系统启动时，初始化类，监听端口，对每个访问请求创建线程，专门处理连接操作。

       系统监听包含不同类型的请求，如RTMP连接、HTTP API等，通过创建线程处理。

       RTMP连接处理中，SRS采用协程而非线程，实现高效并发。创建协程后，进入协程循环处理。

       HTTP API连接监听机制与RTMP类似，仅参数不同。

       HTTP API回调接口在run_master函数中注册，允许访问服务器参数。

       SRS对拉流处理独特，通过ffmpeg工具实现，SRS代码负责简单的系统调用。

       系统启动代码结构清晰，从初始化、监听到线程处理，再到回调注册、拉流处理、自服务，各环节紧密衔接。

       总结SRS源码分析，不仅展现了代码的高效性和扩展性，还提供了灵活的部署方案，适用于多种直播场景。

分析流媒体服务器源码：Rtmp发布流程的SRS解析

       Rtmp发布流程在SRS服务器中主要通过单线程多协程模型来实现，以简化线程管理和数据同步。以下是关键步骤的解析：

       SRS基于state-threads协程库工作，每个协程在单线程内独立执行，无需考虑线程安全问题。程序启动后，通过SrsStreamListener监听并处理TCP连接，创建SrsTcpListener和SrsReusableThread进行并发处理。

       当接收到客户端连接时，会根据连接类型创建不同的SrsConnection，如RtmpConn。SrsRtmpConnFMLEPublish负责处理推流至服务器，会进入publishing函数，其中创建SrsPublishRecvThread协程，接收和处理客户端的消息。

       消息处理中，视频数据会经过缓存H序列头、HLS分发和消费者分发等步骤。每个消费者有自己的SrsMessageQueue，队列大小由配置文件中的"queue_length"设置，队列满时旧消息会被丢弃，但关键的序列头不会被删除，避免影响客户端解码。

       总结来说，SRS的Rtmp发布流程通过高效的单线程协程设计，保证了数据的缓存和分发，同时通过策略性丢包避免了可能导致花屏的问题。

SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play

       本章内容梳理了SRS在接收到RTMP信息后如何进行转发的过程。在此过程中，首先进行代码梳理，作者也在源码熟悉阶段，可能尚未完全梳理完接受到RTMP后信息如何处理、缓存以及转发给直播用户等内容。

       SRS源码中的Play流程如下：

       1. 进入play流程：本章内容直接从SrsRtmpConn::stream_service_cycle()方法开始梳理。

       2. 在接受流程中，客户类型为SrsRtmpConnFMLEPublish “fmle publish”，而在转发流程中，客户类型为SrsRtmpConnPlay。

       3. 在/ossrs/srs/wiki...，导出后，在research/librtmp下有作者编写的demo，其中srs_rtmp_dump.c用于从rtmp服务器拉流并保存为flv文件。

       以下是简化版的demo源码，我注释了自己的理解，若有错误请指正。在vs下此代码能编译运行，但在linux下能正常播放。

       主要讲述了flv头信息的结构，srs_librtmp源码中srs_flv_write_tag通过data封装成Tag并写入flv文件，srs_rtmp_read_packet读取的数据是flv文件中的tag data。

       Tag data分为Audio、Video、Script三种，这里仅讲解Video Tag Data。

       VideoTagHeader的第一个字节包含了视频帧类型及视频CodecID的基本信息。VideoTagHeader之后跟着的是VIDEODATA数据，即video payload，对于H.格式的视频，VideoTagHeader会额外包含4个字节的信息。

       AVCPacketType和CompositionTime。AVCPacketType表示VIDEODATA的内容类型：若AVCPacketType为0，则为AVCDecoderConfigurationRecord（H.序列头）；若为1，则为一个或多个NALU（完整帧是必需的）。

       AVCDecoderConfigurationRecord包含H.解码相关的sps和pps信息，解码器在送数据流之前必须送出sps和pps信息，否则解码器不能正常解码。在解码器停止后再次开始之前，如seek、快进快退状态切换等，都需要重新送出sps和pps的信息。AVCDecoderConfigurationRecord在FLV文件中通常只出现一次，即第一个video tag，但有些视频流的sps和pps可能会发生变化，所以可能会出现多次。

       Composition Time用于告知渲染器视频帧进入解码器后多长时间在设备上显示。在flv格式中，timestamp用于告知帧何时提供给解码器，单位为毫秒。Composition Time告诉渲染器视频帧显示的时间，因此compositionTime = (PTS - DTS) / .0。

       总结如下：使用srs_librtmp拉流，拉取的数据为一个又一个的Tag Data，可通过type与宏值比较判断Tag Data是否为Video Tag Data。连接rtmp服务器拉流时收到的第一个Video Tag Data通常包含PPS和SPS信息。对于每个h编码的Video Tag Data，会多出4个字节的AVCPacketType和CompositionTime，其中CompositionTime用于B帧，这里暂时忽略它，我们仅支持P帧和I帧。Frame Type在h编码中只能是1或2，Frame Type == 1表示关键帧或包含PPS和SPS信息的Video Tag Data。CodecID在h编码中只能是7（AVC）。当AVCPacketType == 0时，Video Tag Data包含SPS和PPS信息；当AVCPacketType == 1时，为帧数据。

       获取PPS和SPS信息非常关键，如果不告知解码器，根本无法播放视频。我写了一段代码，虽然技术有限，但希望能帮助到您。

       AVCPacketType为1表示Video Tag Body的内容是NALU。Frame Type为1表示NALU内容是关键帧，Frame Type为2表示NALU内容是非关键帧。NALU的开头的4个字节表示NALU的长度（nalu_length），nalu_length之后是一个字节的nalu header。

       nalu header中nal_ref_idc表示优先级，范围在~（2进制），值越大表示越重要。值指示NAL单元的内容不用于重建影响图像的帧间图像预测。对于nal_unit_type为6、9、、、的NAL单元，H.规范要求NRI的值应该为0。对于nal_unit_type等于7、8（指示顺序参数集或图像参数集）的NAL单元，H.编码器应设置NRI为（二进制格式）。nal_unit_type表示nalu类型，SPS开头是0x（nal_ref_idc为3，nal_unit_type为7），PPS开头是0x（nal_ref_idc为3，nal_unit_type为8），关键帧开头是0x（nal_ref_idc为3，nal_unit_type为5），非关键帧开头是0x（nal_ref_idc为2，nal_unit_type为1）。nal_unit_type为5表示idr帧，idr帧具有随机访问能力，所以每个idr帧前需要加上sps和pps。startcode起始码。

       H.原始码流由一个一个的NALU组成，其结构包括起始码（0x或0x，取决于编码器实现）和数据。具体何时使用3个字节的起始码，何时使用4个字节的起始码，这个我没有完全弄明白，资料中提到具体哪种开头取决于编码器实现。0x是NAL起始前缀码，解码器检测每个起始码，作为NAL的起始标识，当检测到下一个起始码时，当前NAL结束。同时H.规定，当检测到0x时，也可以表示当前NAL的结束。对于NAL中数据出现0x或0x时，H.引入了防止竞争机制，如果编码器检测到NAL数据存在0x或0x时（非起始码，而是真正的音视频数据），编码器会在最后个字节前插入一个新的字节0x，这样当遇到0x或0x时就一定是起始码了。解码器检测到0x时，把抛弃，恢复原始数据。因此，组装H的步骤如下：读取tag data并判断是否是video tag data，判断frameType和AVCPacketType，区分video tag data是AVCDecoderConfigurationRecord还是NALU，如果是AVCDecoderConfigurationRecord则解析PPS和SPS保存在内存中并加上startcode（我这里加的是0x），如果是NALU，则判断nal_unit_type（有些NALU的流比较奇怪，依然包含PPS、SPS信息，甚至还有SEI信息）。switch case根据不同的nal_unit_type来解析，并加上startcode。如果nal_unit_type == 0x，则是idr帧，需要加上PPS和SPS信息（即一个idr通常包含3个startcode，SPS一个PPS一个idr帧数据一个）。

       以下是完整代码：

       rtmpTo.h

       rtmpTo.cpp

       main.cpp

       原文链接：blog.csdn.net/qq_...