1.如何用C++编写获取GPU使用率的代码
2.ffmpeg使用NVIDIA GPU硬件编解码
3.Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读
4.LLM优化：开源星火13B显卡及内存占用优化
5.[推理部署]👋解决: ONNXRuntime(Python) GPU 部署配置记录
6.Pytorch之Dataparallel源码解析

如何用C++编写获取GPU使用率的代码

       C++源代码实现动态监视CPU内存使用率

       æ‚¨ä¹Ÿå¯ä»¥è¯•è¯•æ­è½½äº†ç¬¬å…­ä»£æ™ºèƒ½è‹±ç‰¹å°”酷睿处理器的产品，创新性的使用模式，如实感技术，姿势控制，语音识别，2D/3D影像，突破传统PC使用体验，无论办公学习、畅玩游戏或者观看超高清影像播放，均得心应手，引领产品创新。

ffmpeg使用NVIDIA GPU硬件编解码

       要在Ubuntu .上利用NVIDIA GPU硬件加速ffmpeg 3.4.8的用源编解码功能，首先需要安装必要的用源依赖库和特定驱动。

       1. 安装依赖库：确保系统具备基本的用源开发环境，可以通过apt命令安装。用源

       2. 安装ffnvcodec：这是用源关键组件，用于利用NVIDIA硬件进行视频编码和解码。用源iscsi客户端源码

       遇到官方驱动安装问题时，用源建议采取以下步骤：

       卸载旧版本Nvidia驱动

       加入显卡驱动的用源PPA（个人包存档）

       查找并安装最新NVIDIA驱动，可能需要查看官方文档获取版本号

       推荐学习资源：有关音视频开发的用源免费课程，包括FFmpeg、用源WebRTC等，用源可通过链接获取更多资料和学习资料包。用源

       3. 安装CUDA：CUDA是用源NVIDIA提供的GPU计算库，对视频编解码的用源支持至关重要，可以从developer.download.nvidia.cn下载。用源

       4. 编译ffmpeg：在安装完CUDA后，进行ffmpeg的编译。在编译前，务必检查系统环境是否正确设置。

       针对NVIDIA NVENC并发Session数量的限制，如果你的GTX显卡限制在2路编码，可以参考老雷的Windows解决方案，虽然Linux下修改方法尚未在GitHub上找到通用解决方案，但已有一些针对不同驱动版本的特定修改，如github.com/keylase/nvidia...。

       对于编码输出帧的问题，当使用nvenc或h_nvenc时，可能会出现SEI帧在RTP传输中导致错误。解决方法是直接在ffmpeg源码中的nvenc.c文件进行适当修改。

       最后，完成上述步骤后，你可以编译ffmpeg进行测试，板块走强的源码确保硬件加速功能正常工作。

Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

       在探索深度学习领域，使用Python语言进行编程无疑是一条高效且灵活的途径。尤其在科研工作或项目实施中，Python以其丰富的库资源和简单易用的特性，成为了许多专业人士的首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的过程。在提供具体步骤的同时，也期待读者的反馈，以持续改进内容。

       为了在Windows系统下搭建适合研究或项目的TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的cuDNN和CUDA版本。访问相关网站，以获取适合自身硬件配置的版本信息。以TensorFlow_gpu2.为例，进行环境搭建。

       在Anaconda环境下，通过命令行操作来创建并激活特定环境，如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是否正确。

       为了在Jupyter Notebook中利用该环境，需要安装ipykernel，ds源码干嘛的并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。

       对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是返回单个时间步的输出还是整个输出序列。

       在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，买原创网站源码选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。

       通过上述步骤，不仅能够搭建出适合特定研究或项目需求的TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。

LLM优化：开源星火B显卡及内存占用优化

       本qiang近期接手了一个任务，旨在部署多个开源模型，并对比本地全量微调的模型与开源模型的性能表现。参与的开源模型包括星火B、Baichuan2-B、ChatGLM6B等。其他模型基于transformers架构，启动服务流畅，然而星火B基于Megatron-DeepSpeed框架实现，启动过程发现显卡占用量高达G-G，超出预期。本文主要围绕开源星火B的显存及内存使用优化进行整理与讨论。

       直观分析，星火B模型使用bf数据类型，预计显存占用为G左右，实际却高达G+，这解释了为什么星火开源模型讨论较少。穷人家的孩子，哪里有充足的显存资源。在排查原因时，需要对源码进行调试与分析。在启动推理服务的脚本run_iFlytekSpark_text_generation.py中，model_provider方法用于初始化模型并加载模型文件。在加载权重文件时，影视卡程序源码直接将权重文件加载至显卡，而非先加载至CPU再转移到GPU，这可能是优化点之一。

       深入源码，发现星火B模型的初始化过程中，包括Embedding层、线性转换层等的权重weight直接分配在GPU上运行。为优化此过程，可以调整模型初始化策略。通过在启动推理服务的脚本中加入参数" use_cpu_initialization"，模型初始化时可以先将权重加载至CPU，然后进行后续的GPU分配和转换。在加载模型文件时，先加载至CPU，避免直接在GPU上运行，加载完成后，利用垃圾回收机制清除CPU上的内存占用。

       实施优化后，显卡占用量从.5G减少至G，内存占用从.5G降低至.1G，效果显著。优化的核心在于使用CPU预加载模型，之后转换至GPU。

       总结而言，本文主要针对开源星火B显存及内存占用过大的问题提供了一种代码优化方法。关键在于调整模型初始化和加载策略，通过先在CPU上预加载模型，再进行GPU分配，有效降低了资源占用。对于遇到类似问题的读者，建议参考本文提供的优化思路。

[推理部署]👋解决: ONNXRuntime(Python) GPU 部署配置记录

       在探索深度学习推理部署过程中，ONNXRuntime(GPU)版本提供了简化ONNX模型转换和GPU加速的途径。本文将分享ONNXRuntime GPU部署的关键步骤，以助于高效解决问题和提高部署效率。

       首先，选择正确的基础镜像是部署ONNXRuntime GPU的关键。ONNXRuntime GPU依赖CUDA库，因此，镜像中必须包含CUDA动态库。在Docker Hub搜索PyTorch镜像时，选择带有CUDA库的devel版本（用于编译）是明智之举，尽管runtime版本在某些情况下也有效，但devel版本提供了更好的CUDA库支持。

       对于runtime和devel版本的选择，重要的是理解它们各自的用途。runtime版本适用于直接使用ONNXRuntime GPU进行推理，而devel版本则用于构建过程，确保在构建过程中可以访问CUDA库，从而避免因版本不匹配导致的问题。在使用pip安装时，两者都是可行的；若需从源码构建，则需使用devel版本。

       启动Docker镜像时，使用nvidia-docker启动并登录PyTorch 1.8.0容器至关重要，以确保能够访问GPU资源。确保宿主机显卡驱动正常，以避免在容器内无法使用GPU的情况。

       安装ONNXRuntime-GPU版本后，通过pip进行安装，检查是否能正常利用GPU资源。ONNXRuntime将自动识别可用的CUDA执行提供者（如TensorrtExecutionProvider和CUDAExecutionProvider），确保GPU推理加速。

       若发现无法利用GPU，可以尝试调整配置或确保已正确设置CUDA路径到PATH环境变量（在使用devel版本时）。在成功安装和配置后，ONNXRuntime将提供GPU加速的推理性能提升。

       在部署ONNXRuntime GPU时，确保在新建InferenceSession时加入TensorrtExecutionProvider和CUDAExecutionProvider，以充分利用GPU资源。性能测试显示，与CPU相比，GPU部署在推理任务上表现更优。

       总结而言，ONNXRuntime GPU部署涉及选择合适的基础镜像、正确启动Docker容器、安装ONNXRuntime GPU、配置GPU资源访问以及优化推理性能。通过遵循上述步骤，可以顺利实现ONNX模型在GPU上的高效部署。

Pytorch之Dataparallel源码解析

       深入解析Pytorch之Dataparallel源码

       在深入理解Dataparallel原理之前，需要明白它的使用场景和目的。Dataparallel设计用于在多GPU环境下并行处理数据，提高模型训练效率。

       初始化阶段，Dataparallel需要实例化一个模型。这一步中，模型的参数会被复制到所有可用的GPU上，从而实现并行计算。

       在前向传播阶段，Dataparallel的核心作用体现出来。它会将输入数据分割成多个小批次，然后分别发送到各个GPU上。在每个GPU上执行前向传播操作后，结果会被收集并汇总。这样，即便模型在多GPU上运行，输出结果也如同在单GPU上运行一样。

       具体实现中，Dataparallel会利用Python的多重继承和数据并行策略。它继承自nn.Module，同时调用nn.DataParallel的构造函数，从而实现并行计算。

       对于那些需要在GPU间共享的状态或变量，Dataparallel还提供了相应的管理机制，确保数据的一致性和计算的正确性。这样的设计使得模型能够高效地在多GPU环境下运行，同时保持代码的简洁性和易读性。

       总结而言，Dataparallel通过分割数据、并行执行前向传播和收集结果的机制，实现了高效的数据并行训练。理解其源码有助于开发者更好地利用多GPU资源，提升模型训练效率。

极智开发 | ubuntu源码编译gpu版ffmpeg

       欢迎访问极智视界公众号，获取更多深入的编程知识与实战经验分享。

       本文将带你了解在 Ubuntu 系统中，如何进行源码编译，获得 GPU 加速版本的 FFmpeg 工具。

       FFmpeg 是一款功能强大的音视频处理工具，支持多种格式的音视频文件，并提供了丰富的命令行工具和库，允许开发者在 C 语言或其他编程语言中进行音视频处理。

       然而，FFmpeg 本身并不具备 GPU 加速功能。通过集成 CUDA SDK、OpenCL 或 Vulkan 等第三方库，能够实现 FFmpeg 的 GPU 加速，显著提升处理速度和性能。

       在本文中，我们将重点介绍如何在 Ubuntu 系统中编译 GPU 加速版本的 FFmpeg。

       首先，确保已安装 nv-codec-hearers，这是 NVIDIA 提供的 SDK，用于在 GPU 上加速 FFmpeg 的操作。

       接下来，安装 FFmpeg 编码库和相关依赖，完成 FFmpeg 的编译配置。

       最后，运行编译命令，检查 FFmpeg 是否成功安装并验证 GPU 加速功能。

       至此，GPU 加速版本的 FFmpeg 已成功编译和安装，能够为你在音视频处理任务中带来显著性能提升。

       通过极智视界公众号，获得更多有关人工智能、深度学习的前沿技术与实用知识，欢迎加入知识星球，获取丰富的资源与项目源码，共同探索 AI 领域的无限可能。

硬核观察 # 1/7 的 Linux 内核代码是 AMD GPU 驱动代码

       Linux 内核代码的硬核观察揭示了一个显著的事实：AMD GPU 驱动代码占据了内核源代码的1/7以上，具体超过了万行。这其中包括AMD为每代新GPU提供的大量自动生成的头文件，它们就像详尽的文档，反映出AMD对驱动开发的投入。相比之下，英伟达开源的Nouveau驱动代码只有约万行，显示出AMD在内核贡献上的巨大影响力。

       尽管AMD在代码贡献上积极主动，但老王对此提出疑问：在内核中不断增加代码是否真的有益？尤其考虑到ReiserFS的命运。曾经流行的ReiserFS日志文件系统因开发者的个人问题而停滞，最终在Linux 5.及后续版本中被标记为废弃。其后，随着主要开发者入狱，ReiserFS项目逐渐消亡，反映出开发者社区对项目污点的敏感和项目延续性的依赖。

       另一个例子是Visual Studio for Mac，微软的Mac版开发工具，从开源到闭源，最终被计划在年废弃。VS Mac曾作为.NET IDE，但与Windows版本的差距明显。微软在发现VS Code更受欢迎后，逐渐淘汰边缘项目，而MonoDevelop的开源替代品DotDevelop仍在持续发展中。