1.nvidia Դ?源码?
2.oneDNN 如何运行在 Nvidia GPU 上
3.NVIDIA Modulus 23.03安装和使用方法
4.ffmpeg使用NVIDIA GPU硬件编解码
5.TF-TRT使用环境搭建
6.在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

nvidia Դ??

       在Gentoo Linux中配置Nvidia显卡并安装timeshift和Steam的详细步骤如下：

       Nvidia显卡配置

       以root或sudo权限操作，前提是源码你已经安装了Gentoo的桌面环境。

       首先，源码从官网获取内核源码并安装：`emerge --ask sys-kernel/gentoo-sources`

       选择内核：`eselect kernel list eselect kernel set 1`

       可选地，源码使用genkernel自定义内核配置：`emerge --ask sys-kernel/genkernel`

       禁用nouveau显卡：创建配置文件`/etc/modprobe.d/blacklist.conf`并添加相关blacklist语句。源码

       配置显卡驱动：修改`/etc/portage/make.conf`以指定支持的源码和平精英绘制源码显卡类型（如Intel和Nvidia）。

       安装相关驱动：分别执行`emerge`命令安装Nvidia和AMD驱动。源码

       timeshift安装

       安装必要的源码软件包：`emerge app-eselect/eselect-repository dev-vcs/git`

       启用timeshift：`eselect repository enable guru`，同步包列表：`emaint sync -r guru` 或 `emerge --sync`

       将timeshift添加至keywords：`nano /etc/portage/package.keywords`，源码然后安装`emerge app-backup/timeshift --autounmask-write`。源码

       Steam安装

       为Steam安装做准备：修改`/etc/portage/make.conf`，源码临时添加`USE=" -gpm "`。源码

       安装必要的源码依赖，如ncurses：`emerge sys-libs/ncurses`

       移除临时的源码`-gpm`：`use="-gpm"`

       添加Steam存储库：`eselect repository enable steam-overlay` 或 `layman -a steam-overlay`，同步存储库：`emaint sync -r steam-overlay` 或 `emerge --sync`

       添加Steam相关的源码use和keywords：`nano /etc/portage/package.accept_keywords/steam` 和 `/etc/portage/package.keywords`。

       AMD显卡用户还需额外设置：`echo "x-libs/libdrm video_cards_radeon" >> /etc/portage/package.use/list`

       最后，安装Steam相关应用：`emerge games-util/steam-launcher games-util/steam-meta`，重启系统后，Steam即可正常运行。

oneDNN 如何运行在 Nvidia GPU 上

       在探索如何利用oneDNN库在Nvidia GPU上进行深度神经网络运算时，需要首先了解其工作原理以及实现步骤。Nvidia GPU与Intel oneAPI的oneDNN库之间紧密协作，实现高效并行计算。以下步骤指导如何将oneDNN集成至Nvidia GPU系统中。

       首先，确保安装最新版本的Nvidia驱动，比如T4驱动..与CUDA .2，或V驱动..与CUDA .4。驱动兼容性是确保GPU性能发挥的关键。

       其次，构建CUDA设备编译器，参考官方文档完成编译工具链的搭建。这一过程确保了与Nvidia GPU的兼容性。

       接下来，站点源码针对CUDA设备构建OneDNN库，通常需要配套的cudnn库支持。这一步骤旨在优化深度学习模型的性能。

       验证oneDNN提供的矩阵乘积示例在Nvidia GPU上的执行情况，确保库的正确集成与运行。

       进一步，通过DPC++/SYCL编写并验证矩阵乘积示例，展示其跨平台特性，不仅适用于Intel GPU，也能在Nvidia、AMD等不同GPU架构上运行。

       深入分析oneDNN与cudnn的集成。oneDNN通过提供封装后的cudnn实现，简化了GPU计算流程。从源代码中可见，DPC++仅对cudnn进行了封装，未在性能层面提供显著提升。

       DPC++与SYCL作为跨平台的异构计算框架，能够高效运行于多种GPU架构，如Nvidia GPU。它们通过引入扩展C++功能，支持多种架构，简化了代码移植与维护。

       在DPC++编译器中，代码被分为主机与设备部分，分别由主机编译器与设备编译器处理。设备编译器后端生成的机器码，如Nvidia NVCC中的PTX或Intel GPU中的SPIR-V，是GPU执行的基础。

       综合来看，通过遵循上述步骤与分析，用户能够成功在Nvidia GPU上部署oneDNN，实现高效且跨平台的时空源码深度神经网络运算。

NVIDIA Modulus .安装和使用方法

       如果你对NVIDIA的Modulus .版本感兴趣，以下是你需要了解的安装和使用指南。从年开始，Modulus将进行重大更新，建议直接从.版本开始，因为它将成为新开发的基础，旧版本将不再维护，所有功能将迁移至此。

       Modulus .开源，可在GitHub获取。新版本主要由两个部分组成：Modulus包和modulus-sym包。sym包整合了大量API接口，以下是部分核心模块的导入示例：

       from modulus.sym.hydra import to_absolute_path

       from modulus.sym.solver import Solver

       from modulus.sym.domain import Domain

       ...

       from modulus.sym.utils.io.plotter import ValidatorPlotter

       安装步骤如下：

       首先，从GitHub下载modulus源代码，确保选择正确的版本，然后构建镜像：

       #docker build -t modulus:ci --target ci -f Dockerfile .

       启动镜像，在其中安装modulus-sym：

       #pip install .

       可能需要额外安装一些依赖，如：

       sudo apt-get install libx-6

       sudo apt install libgl1-mesa-glx

       sudo apt-get install libxrender1

       完成以上步骤后，你就可以开始编写并运行Modulus .的代码了。对于进一步的技术交流和疑难解答，我们建议加入以下QQ群：

       群名称：英伟达Modulus仿真技术交流（PINN）

群号：

       这里是一个活跃的社区，可以与同行分享经验和解决问题。祝你在使用Modulus .的过程中顺利！

ffmpeg使用NVIDIA GPU硬件编解码

       要在Ubuntu .上利用NVIDIA GPU硬件加速ffmpeg 3.4.8的编解码功能，首先需要安装必要的依赖库和特定驱动。

       1. 安装依赖库：确保系统具备基本的开发环境，可以通过apt命令安装。

       2. 安装ffnvcodec：这是关键组件，用于利用NVIDIA硬件进行视频编码和解码。

       遇到官方驱动安装问题时，建议采取以下步骤：

       卸载旧版本Nvidia驱动

       加入显卡驱动的PPA（个人包存档）

       查找并安装最新NVIDIA驱动，可能需要查看官方文档获取版本号

       推荐学习资源：有关音视频开发的免费课程，包括FFmpeg、opc 源码WebRTC等，可通过链接获取更多资料和学习资料包。

       3. 安装CUDA：CUDA是NVIDIA提供的GPU计算库，对视频编解码的支持至关重要，可以从developer.download.nvidia.cn下载。

       4. 编译ffmpeg：在安装完CUDA后，进行ffmpeg的编译。在编译前，务必检查系统环境是否正确设置。

       针对NVIDIA NVENC并发Session数量的限制，如果你的GTX显卡限制在2路编码，可以参考老雷的Windows解决方案，虽然Linux下修改方法尚未在GitHub上找到通用解决方案，但已有一些针对不同驱动版本的特定修改，如github.com/keylase/nvidia...。

       对于编码输出帧的问题，当使用nvenc或h_nvenc时，可能会出现SEI帧在RTP传输中导致错误。解决方法是直接在ffmpeg源码中的nvenc.c文件进行适当修改。

       最后，完成上述步骤后，你可以编译ffmpeg进行测试，确保硬件加速功能正常工作。

TF-TRT使用环境搭建

       TF-TRT，即TensorFlow与TensorRT的集成，是NVIDIA为加速深度学习推理应用而设计的工具。它简化了TensorFlow用户在GPU上利用TensorRT进行模型推理的流程。本文主要介绍如何在服务器上搭建TF-TRT的使用环境和编写相关代码。

       首先，NVIDIA推荐的TF-TRT环境配置基于TensorRT 5.0RC，需要确保NVIDIA驱动程序版本.0以上，CUDA .0以及TensorRT。安装过程建议在Anaconda的cmake 源码安装虚拟环境中进行，从Tensorflow GitHub上下载1.版本源码，并通过bazel build工具生成pip安装包。在编译时，由于GCC 5.0可能与新版本兼容性问题，需添加特定编译选项。

       对于服务器上直接安装，你需按照官方教程安装CUDA、CUDNN、NVIDIA Driver和TensorRT。在Tensorflow的configure文件中，根据你的硬件配置进行相应的调整。然后，通过pip安装生成的.whl文件，安装时需要注意选择nvcc编译器，cudnn 7.3以上版本，以及兼容性的GCC编译选项。

       另一种方式是利用Docker容器，Tensorflow .容器需要nvidia driver +版本，并需要获取Nvidia GPU cloud的API密钥。安装完成后，你可以通过Docker拉取tensorflow:.-py3镜像，验证TensorRT与Tensorflow的集成是否成功。

       无论是直接安装还是容器化，都需注意选择合适的驱动和软件版本，以确保TF-TRT的稳定运行。安装过程中，还可以根据实际需求在container中安装其他软件，以满足个性化需求。

在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

       本篇文章，聊聊如何在新版本 PyTorch 和 CUDA 容器环境中完成 xFormers 的编译构建。

       让你的模型应用能够跑的更快。

       写在前面

       xFormers[1] 是 FaceBook Research （Meta）开源的使用率非常高的 Transformers 加速选型，当我们使用大模型的时候，如果启用 xFormers 组件，能够获得非常明显的性能提升。

       因为 xFormers 对于 Pytorch 和 CUDA 新版本支持一般会晚很久。所以，时不时的我们能够看到社区提出不能在新版本 CUDA 中构建的问题（ #[2]或 #[3]），以及各种各样的编译失败的问题。

       另外，xFormers 的安装还有一个问题，会在安装的时候调整当前环境已经安装好的 PyTorch 和 Numpy 版本，比如我们使用的是已经被验证过的环境，比如 Nvidia 的月度发布的容器环境，这显然是我们不乐见的事情。

       下面，我们就来解决这两个问题，让 xFormers 能够在新的 CUDA 环境中完成编译，以及让 xFormers 的安装不需要变动我们已经安装好的 Pytorch 或者 Numpy。

       环境准备

       环境的准备一共有两步，下载容器和 xFormers 源代码。

       Nvidia 容器环境

       在之前的 许多文章[4]中，我提过很多次为了高效运行模型，我推荐使用 Nvidia 官方的容器镜像（ nvcr.io/nvidia/pytorch:.-py3[5]）。

       下载镜像很简单，一条命令就行：

       完成镜像下载后，准备工作就完成了一半。

       准备好镜像后，我们可以检查下镜像中的具体组件环境，使用docker run 启动镜像：

       然后，使用python -m torch.utils.collect_env 来获取当前环境的信息，方便后续完成安装后确认原始环境稳定：

       获取 xFormers

       下载 xFormers 的源代码，并且记得使用--recursive 确保所有依赖都下载完毕：

       xFormers 的源码包含三个核心组件cutlass、flash-attention、sputnik，除去最后一个开源软件在 xFormers 项目 sputnik 因为 Google 不再更新，被固定了代码版本，其他两个组件的版本分别为：cutlass@3.2 和 flash-attention@2.3.6。

       Dao-AILab/flash-attention[6]目前最新的版本是 v2.4.2，不过更新的主干版本包含了更多错误的修复，推荐直接升级到最新版本。在 v2.4.2 版本中，它依赖的 cutlass 版本为 3.3.0，所以我们需要升级 cutlass 到合适的版本。

       Nvidia/cutlass[7] 在 3.1+ 的版本对性能提升明显。

       不过如果直接更新 3.2 到目前最新的 3.4flash-attention 找不到合适的版本，会发生编译不通过的问题，所以我们将版本切换到 v3.3.0 即可。

       另外，在前文中提到了在安装 xFormers 的时候，会连带更新本地已经安装好的依赖。想要保护本地已经安装好的环境不被覆盖，尤其是 Nvidia 容器中的依赖不被影响，我们需要将xformers/requirements.txt 内容清空。

       好了，到这里准备工作就结束了。

       完成容器中的 xFormers 的安装

       想要顺利完成 xFormers 的构建，还有一些小细节需要注意。为了让我们能够从源码进行构建，我们需要关闭我们下载 xFormers 路径的 Git 安全路径检查：

       为了让构建速度有所提升，我们需要安装一个能够让我们加速完成构建的工具ninja：

       当上面的工具都完成后，我们就可以执行命令，开始构建安装了：

       需要注意的是，默认情况下安装程序会根据你的 CPU 核心数来设置构建进程数，不过过高的工作进程，会消耗非常多的内存。如果你的 CPU 核心数非常多，那么默认情况下直接执行上面的命令，会得到非常多的Killed 的编译错误。

       想要解决这个问题，我们需要设置合理的MAX_JOBS 参数。如果你的硬件资源有限，可以设置 MAX_JOBS=1，如果你资源较多，可以适当增加数值。我的构建设备有 G 内存，我一般会选择设置 MAX_JOBS=3 来使用大概最多 GB 的内存，来完成构建过程，MAX_JOBS 的构建内存消耗并不是完全严格按照线性增加的，当我们设置为 1 的时候，GB 的设备就能够完成构建、当我们设置为 2 的时候，使用 GB 的设备构建会比较稳妥，当设置到 4 的时候，构建需要的内存就需要 GB 以上了。

       构建的过程非常漫长，过程中我们可以去干点别的事情。

       当然，为了我们后续使用镜像方便，最好的方案是编写一个 Dockerfile，然后将构建的产物保存在镜像中，以方便后续各种场景使用：

       在构建的时候，我们可以使用类似下面的命令，来搞定既使用了最新的 Nvidia 镜像，包含最新的 Pytorch 和 CUDA 版本，又包含 xFormers 加速组件的容器环境。

       如果你是在本机上进行构建，没有使用 Docker，那么构建成功，你将看到类似下面的日志：

       等待漫长的构建结束，我们可以使用下面的命令，来启动一个包含构建产物的容器，来测试下构建是否成功：

       当我们进入容器的交互式命令行之后，我们可以执行python -m xformers.info，来验证 xFromers 是否构建正常：

       以及，使用python -m torch.utils.collect_env 再次确认下环境是否一致：

       最后

       好了，这篇文章就先写到这里啦。

OpenCV Carotene 源码阅读（持续更新）

       OpenCV的Carotene库是NVIDIA为优化计算机视觉(CV)操作而精心设计的，特别针对ARM Neon架构，旨在加速诸如resize和Canny等关键算法。这款库以其清晰的代码和对SIMD编程初学者的友好性而备受赞誉。本文将深入探索Carotene的魅力，揭示其独特的功能点，如accumulate函数的多变接口，包括square accumulate和addweight，后者展示了创新的处理策略。

       Carotene的Blur(k3x3_u8)处理方法与众不同，采用了seperateFilter算法，而非传统的O(1)复杂度，展示了其在效率优化上的独到之处。值得一提的是，行方向移位求和和normalize系数的量化计算，都被Carotene以精细的技巧逐一解析。要了解更多细节，不妨直接查看其源码，那里充满了值得学习的见解和实践经验。

       Carotene在指令处理上展现出了高效能，如一次性执行乘系数、类型转换和右移等操作，通过vqrdmulhq_s等矢量化指令，实现了寄存器数据的复用。对于边界处理，left_border通过set_lane技术轻松搞定，而right_border的成本则更低。库中还包括了integral和sqrtIntegral的实现，行方向积分的向量化通过移位操作得以高效完成，即使在arm Neon缺乏element shift指令的情况下，Carotene也能通过uint_t标量移位巧妙解决。

       在模糊处理上，GaussianBlur遵循Blur的优化思路，对gauss_kernel进行了量化。另外，还有诸如absdiff、add_weighted、add、bitwise以及channel_extract/combine等N-1种基础算子，它们巧妙地结合了neon指令和宏定义，为性能提升做出了贡献。这些细节的精心设计，充分体现了Carotene在提升OpenCV性能上的匠心独运。

       总的来说，Carotene的源码是学习SIMD编程和OpenCV优化的绝佳资源，无论是对于开发者还是对性能追求者来说，都是一份值得深入探索的宝藏。如果你对这些技术感兴趣，不要犹豫，立即投身于源码的世界，你会发现其中隐藏的无数精彩。