1.Ӱ?影视b源?webԴ??
2.WebRTC 源码分析——Android 视频硬件编码
3.Webrtc源码分析 - JitterBuffer

Ӱ??webԴ??

       实现网页文字聊天相对简单，但要实现视频聊天则较为复杂。影视b源本文将介绍一个纯网页版的影视b源视频聊天和桌面分享的Demo，可直接在浏览器中运行，影视b源无需安装插件。影视b源

       一. 主要功能及支持平台

       1. 本Demo的影视b源android 笔记 源码主要功能包括：

       （1）一对一语音视频聊天。

       （2）远程桌面观看。影视b源

       （3）当客户端掉线时，影视b源会自动重连，影视b源网络恢复后重连成功。影视b源

       2. 支持的影视b源平台包括：

       （1）支持的操作系统有：Windows、信创国产Linux（银河麒麟、影视b源统信UOS）、影视b源Android、影视b源iOS、影视b源Mac、鸿蒙OS。

       （2）支持的CPU架构有：X/X、ARM、deeplab官方源码解析MIPS、Loongarch。

       （3）支持几乎所有主流浏览器：Chrome、Edge、Firefox、Safari、浏览器、QQ浏览器等。

       （4）此外，使用APP套壳，在WebView控件中加载Demo页面，也能正常进行视频聊天。这可以在C/S架构的客户端或手机APP中嵌入WebView控件来引入视频聊天或桌面分享功能。

       二. 开发环境

       1. 服务端：

       服务端开发环境是Visual Studio ，开发语言是C#。

       2. Web端：

       PC版Web开发环境是VS Code 1.，使用vue 3。

       手机版Web开发环境是番号分享网源码HBuilder 3.8.，uni-app（导出H5）。

       三. 运行效果

       此Demo的源码分为三个部分：服务端、PC端Web（横版）和手机端Web（竖版）。首先来看移动端Web的运行效果。

       （1）登录界面有三个输入框：服务器IP、用户账号和用户密码，用户账号和用户密码均可随便填写。

       （2）首页界面有一个已连接的提示框，表示目前与服务端是连接状态，因网络或其他原因断开时，会提示已断开连接。

       （3）发起视频聊天：输入对方的账号，点击请求视频会话按钮即可向对方发起视频聊天请求，对方接受请求后即可聊天。

       （4）手机端不支持分享自己的桌面，但可以观看PC端桌面。

       （5）PC端运行效果：登录后主页界面，左上角是商贸通源码关于自己的一些信息，右边窗口显示连接对方的摄像头或桌面。

       （6）输入对方的账号，点击请求远程桌面，对方同意后即可观看别人的屏幕。

       四. 服务端源码说明

       注意，由于浏览器限制，将Web端部署到公网需要使用HTTPS协议，否则无法访问摄像头。

       服务端也需要使用WSS协议，因此需要准备SSL证书用于部署。若仅在本地运行，则无需准备。

       若不部署，则将服务端初始化代码中的第六行注释掉，并将第七行中的MultimediaServerFactory.CreateMultimediaServer方法中的wssOption用null替换掉。

       若部署在服务器上，则需要将第五行XCertificate2中的两个参数分别修改为证书路径和密码。

       五. Web端源码说明

       本Demo中的神兽转盘游戏源码Web端包含两套代码，移动端Web采用uni-app开发，PC端Web采用Vue框架开发。关键点如下：

       1. 消息定义：定义了个消息类型，用于Web端之间进行通信，定义放在Vuex或src目录下的omcs目录下。

       2. 自定义消息处理器：在登录成功后，通过调用多媒体管理器上的SetCustomMessageReceivedCallback方法，向multimediaManager注册回调函数，接收消息类型和发起者用户名数据，根据消息类型完成业务操作。

       3. 一对一语音视频：实现逻辑为用户A向用户B发送VideoRequest消息，用户B收到消息后选择同意与否，并将携带用户B意愿数据的VideoResult消息发送给用户A。

       4. 桌面分享：实现逻辑与语音视频类似，请求消息类型为DesktopRequest，响应消息类型为DesktopResult。

       5. 断网重连：网络断开时，每5秒进行与服务器的重新连接，注入ConnectionInterrupted和ConnectionRebuildSucceed回调，在断开和重新连接成功时进行操作。

       六. 如何在本地部署运行Web端

       Web端包含两套代码，移动端Web目录是H5MediaDemo_WebH5，PC端Web目录是H5MediaDemo_WebPC。

       1. 移动端web：通过HBuilder X运行，打开运行→运行到浏览器，选择浏览器即可运行。

       2. PC端web：需要NodeJS环境，安装成功后，在命令行窗口输入node -v和npm -v检查是否安装成功。

       在项目根目录下输入npm run dev运行项目。

       七. 源码下载

       （1）PC版源码

       （2）手机版源码

       此外，已部署测试服务器方便测试。

       （1）PC Web测试网址

       （2）手机 Web测试网址

       网页版视频聊天Demo实现介绍到此结束，感谢！

WebRTC 源码分析——Android 视频硬件编码

       本文深入剖析了 WebRTC 在 Android 平台上的视频硬件编码机制。首先，回顾了 MediaCodec 的概念和基础使用，这是Android中用于处理音频和视频数据的关键组件。MediaCodec 支持编码（将原始数据转换为压缩格式）和解码（将压缩数据转换回原始格式），通常与MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface等组件一起使用。

       接下来，文章探讨了WebRTC 如何利用硬件编码器。通过 DefaultVideoEncoderFactory 和 HardwareVideoEncoderFactory 的交互，WebRTC 实现了 h 编码器的初始化和配置。在代码实现中，我们关注了 MediaCodec 的输入和输出缓冲区、编码器工作模式以及 MediaCodec 与 Surface 的关系，这些是理解整个编码流程的关键点。

       在编码器初始化的部分，通过 DefaultVideoEncoderFactory 的 createEncoder 函数，实例化了 HardwareVideoEncoder。调用栈显示，这一过程主要在 native 端完成，通过 jni 调用 Java 端代码来获取当前设备支持的编码器信息。

       编码数据送入编码器的过程涉及到 VideoEncoder 接口，WebRTC 使用 HardwareVideoEncoder 实现了这一接口，利用 MediaCodec 进行编码。通过 EglBase 和 OpenGL ES 的集成，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的 Surface 的纹理。这一过程确保了编码器接收到了正确的视频数据格式。

       获取编码后的数据时，WebRTC 使用 MediaCodec 的同步模式进行获取。当数据可用时，通过 callback.onEncodedFrame(encodedImage, new CodecSpecificInfo()) 方法告知引擎，引擎负责进一步处理编码后的帧，如封装 RTP 包和发送到对端。

       码流控制方面，WebRTC 包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来更新比特率。在编码过程中，通过特定的代码逻辑来判断并调整当前的码率与所需码率是否匹配，以适应网络条件的变化。

       本文以几个疑问的方式从源码角度详细解析了整个编码流程，包括从 MediaCodec 的创建和配置、视频数据的编码到编码后的数据获取和码流控制等关键步骤。通过深入分析，希望读者能够更好地理解 WebRTC 在 Android 平台上的编码技术。

       为了进一步加深对 Android 音视频核心知识点的理解，推荐访问以下链接：/Ei3VPD。

Webrtc源码分析 - JitterBuffer

       记录于纸，好于记录于心，这是历史的智慧。在WebRTC技术中，JitterBuffer扮演着关键角色，用于处理接收端的数据包抖动与缓存排序问题。其核心功能是记录数据包的正序、乱序和丢包情况，通过Nack列表标识，用于数据包的重传。每个数据包对应特定的序列号，确保理论上的递增或循环处理。以此判断帧frame的完整性，完整帧被送入待解码帧列表，等待解码和显示。对于非完整帧，JitterBuffer会依据超时时间与包间空洞大小决定是否丢弃，并可能请求关键帧的重新发送。

       主要代码与注释分析如下，深入了解JitterBuffer的运行机制。