1.3d稀疏卷积——spconv源码剖析(三)
2.MMDetection3D之DETR3D源码解析:整体流程篇
3.揭开Three.js的引引擎面纱,浅谈Three.js
4.[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
5.Unity3D MMORPG核心技术:AOI算法源码分析与详解
6.最受欢迎的擎源3D游戏引擎Unity VS 国内开源 2D 游戏引擎Cocos
3d稀疏卷积——spconv源码剖析(三)
构建Rulebook
下面看ops.get_indice_pairs,位于:spconv/ops.py
构建Rulebook由ops.get_indice_pairs接口完成
get_indice_pairs函数具体实现:
主要就是开源完成了一些参数的校验和预处理。首先,引引擎对于3d普通稀疏卷积,擎源根据输入shape大小,开源尾盘出击指标源码kernel size,引引擎stride等参数计算出输出输出shape,擎源子流行稀疏卷积就不必计算了,开源输出shape和输入shape一样大小
准备好参数之后就进入最核心的引引擎get_indice_pairs函数。因为spconv通过torch.ops.load_library加载.so文件注册,擎源所以这里通torch.ops.spconv.get_indice_pairs这种方式来调用该函数。
算子注册:在src/spconv/all.cc文件中通过Pytorch提供的开源OP Register(算子注册的方式)对底层c++ api进行了注册,可以python接口形式调用c++算子
同C++ extension方式一样,引引擎OP Register也是擎源Pytorch提供的一种底层扩展算子注册的方式。注册的开源算子可以通过 torch.xxx或者 tensor.xxx的方式进行调用,该方式同样与pytorch源码解耦,增加和修改算子不需要重新编译pytorch源码。用该方式注册一个新的算子,流程非常简单:先编写C++相关的算子实现,然后通过pytorch底层的注册接口(torch::RegisterOperators),将该算子注册即可。
构建Rulebook实际通过python接口get_indice_pairs调用src/spconv/spconv_ops.cc文件种的getIndicePairs函数
代码位于:src/spconv/spconv_ops.cc
分析getIndicePairs直接将重心锁定在GPU逻辑部分,并且子流行3d稀疏卷积和正常3d稀疏卷积分开讨论,优先子流行3d稀疏卷积。
代码中最重要的3个变量分别为:indicePairs,indiceNum和gridOut,其建立过程如下:
indicePairs代表了稀疏卷积输入输出的映射规则,即Input Hash Table 和 Output Hash Table。这里分配理论最大的内存,它的shape为{ 2,kernelVolume,numAct},2表示输入和输出两个方向,pettm源码kernelVolume为卷积核的volume size。例如一个3x3x3的卷积核,其volume size就是(3*3*3)。numAct表示输入有效(active)特征的数量。indiceNum用于保存卷积核每一个位置上的总的计算的次数,indiceNum对应中的count
代码中关于gpu建立rulebook调用create_submconv_indice_pair_cuda函数来完成,下面具体分析下create_submconv_indice_pair_cuda函数
子流线稀疏卷积
子流线稀疏卷积是调用create_submconv_indice_pair_cuda函数来构建rulebook
在create_submconv_indice_pair_cuda大可不必深究以下动态分发机制的运行原理。
直接将重心锁定在核函数:
prepareSubMGridKernel核函数中grid_size和block_size实则都是用的整形变量。其中block_size为tv::cuda::CUDA_NUM_THREADS,在include/tensorview/cuda_utils.h文件中定义,大小为。而grid_size大小通过tv::cuda::getBlocks(numActIn)计算得到,其中numActIn表示有效(active)输入数据的数量。
prepareSubMGridKernel作用:建立输出张量坐标(通过index表示)到输出序号之间的一张哈希表
见:include/spconv/indice.cu.h
这里计算index换了一种模板加递归的写法,看起来比较复杂而已。令:new_indicesIn = indicesIn.data(),可以推导得出index为:
ArrayIndexRowMajor位于include/tensorview/tensorview.h,其递归调用写法如下:
接着看核函数getSubMIndicePairsKernel3:
位于:include/spconv/indice.cu.h
看:
上述写法类似我们函数中常见的循环的写法,具体可以查看include/tensorview/kernel_utils.h
NumILP按默认值等于1的话,其stride也是gridDim.x*blockDim.x。索引最大值要小于该线程块的线程上限索引blockDim.x * gridDim.x,功能与下面代码类似:
参考: blog.csdn.net/ChuiGeDaQ...
MMDetection3D之DETR3D源码解析:整体流程篇
关于torch.distributed.launch的更多细节: blog.csdn.net/magic_ll/...
设置config file和work dir,work dir保存最终config,log等信息,work dir默认为path/to/user/work_dir/
作者将自定义的部分放在 'projects/mmdet3d_plugin/' 文件夹下,通过registry类注册模块,这里利用importlib导入模块并初始化自定义的类。
这里设置模型的输出信息保存路径、gpus等模型的运行时环境参数
这里初始化模型,初始化train_dataset和val_dataset
这部分完成了DataLoader的初始化,runner和hooks的初始化,并且按照workflow运行runner。konachan源码
揭开Three.js的面纱,浅谈Three.js
对WEBGL探索的旅程中,朋友推荐我尝试Three.js,这是一篇关于这款开源3D引擎的初步了解文档。
Three.js,一款在浏览器内运行的强大3D引擎,让你能够构建丰富多彩的三维场景,包括相机、光照、材质等元素,其主页上的示范作品令人赞叹。
作为WebGL三维引擎的代表,Three.js以其丰富的中文资料和广泛的使用度在中国开发者中享有盛名。它是基于JavaScript的脚本库,利用WebGL技术,源代码在GitHub上开源。
Three.js的独特之处在于它以JavaScript实现GPU加速的3D动画,无需依赖浏览器插件,为网页开发提供了高效且直观的工具。它在3D图形编程中的常用对象上做了封装,提升了开发效率。
作为WebGL框架的佼佼者,Three.js凭借其易用性和扩展性,几乎能满足大部分开发者的3D需求。它的历史可以追溯到年,由Ricardo Cabello在GitHub上首次发布,早期源于他对3D场景的演示和ActionScript的使用,后来移植到JavaScript。
Three.js的应用范围广泛,只要是squashfs源码支持WebGL 1.0的现代浏览器,如Firefox、Chrome、Opera、Safari、IE 及Microsoft Edge,都可以运行。WebGL,作为一个JavaScript API,允许在浏览器中以硬件加速的方式创建3D图形,无需插件,与OpenGL ES 2.0高度兼容。
要深入学习Three.js,可以访问其官方英文网站threejs.org和中文网站webgl3d.cn,那里有详细的文档和教程。此外,还有丰富的视频教程和参考文档供你参考。
[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
这篇文章详细介绍了如何从源码安装Pytorch3D,包括选择合适的镜像、配置工具和编译步骤。首先,选择Pytorch 1.9的devel镜像,包含CUDA和驱动,确保与Pytorch3D的版本要求相匹配,比如Python 3.7和CUDA .2。在镜像内,需要检查nvcc编译器、CUDA工具箱和驱动是否正常,同时安装基本工具如git、vim、sudo和curl。衢州源码
配置CUB工具是关键步骤,根据Pytorch3D文档,需要在编译前设置CUB_HOME。即使Pytorch镜像自带CUDA,也建议手动设置`FORCE_CUDA`为1以确保兼容。接着,如果遇到conda依赖问题,作者选择从源码编译Pytorch3D,编译过程中的安装log和版本检查是必要的。
最后,通过测试用例,如从ARkit导出数据并渲染白模,验证GPU的使用。结果显示GPU正常工作,安装成功。对于更深入的Pytorch3D使用,作者还分享了一些参考资源,以便初学者入门。
Unity3D MMORPG核心技术:AOI算法源码分析与详解
Unity3D是一款跨平台的游戏引擎,在游戏开发领域应用广泛。MMORPG(大型多人在线角色扮演游戏)作为游戏开发的重要领域,在Unity3D中也得到广泛应用。玩家之间的交互是游戏开发中一个重要问题。如何高效处理这些交互?AOI(Area of Interest)算法提供了一个有效解决方案。 AOI算法是一种空间索引算法,能够依据玩家位置快速确定周围玩家,从而提高交互效率。实现AOI算法通常采用Quadtree(四叉树)或Octree(八叉树),将空间划分为多个区域,每个区域可包含若干玩家。 以下为AOI算法实现方法和代码解释。 **实现方法**将空间划分为多个区域(Quadtree或Octree)。
玩家移动、加入或离开时,更新对应区域。
玩家查找周围玩家时,遍历相关区域。
**代码实现**使用C#语言实现Quadtree。
编写函数,实现玩家进入/离开、移动和查找玩家。
通过上述方法和代码,AOI算法可以在MMORPG中高效处理玩家交互,优化游戏性能和玩家体验。最受欢迎的3D游戏引擎Unity VS 国内开源 2D 游戏引擎Cocos
国内开源2D游戏引擎Cocos的发展与特点
Cocos2d-x,作为一个轻量、高性能、跨平台的2D游戏开发框架,支持多种开发语言,其早期版本在引擎编辑器方面存在一些不足,如Cocos Builder/Cocos Studio功能有限,难以使用。当前版本Cocos2d-x停留在3..2,不再更新,其发展重点转向Cocos Creator,分为2.x和3.x两条路线,前者专注于2D游戏开发,后者计划向3D游戏发展,同时兼容2D游戏功能。Cocos Creator 2.x版本已非常成熟稳定,是国内2D游戏市场占有率最高的游戏引擎之一,受到中小企业欢迎,市场份额约为国内2D游戏市场的%左右。TS和C++为主要编程语言,性能在V8引擎的加持下已经非常不错,V8默认开启jit,对于大多数休闲和轻中度手游来说性能已经足够。Cocos Creator引擎源码为MIT许可开源,编辑器部分则不开源,与Unreal引擎相似。
Cocos Creator作为国内开源2D游戏引擎的后起之秀,与Laya、Eget并称国产引擎三剑客,目前已成为行业领头羊,使用Cocos Creator开发的游戏非常广泛,包括《刀塔传奇》、《剑与家园》、《天天爱消除》等。
Unity:全球最受欢迎的3D游戏引擎
Unity是由美国Unity Technologies公司开发的跨平台2D/3D游戏引擎。尽管受到了最近的收费许可协议争议影响,Unity仍然是全球游戏开发者中最受欢迎的3D游戏引擎。据The Info报道,年Unity在全球游戏引擎市场占有率超过%,在Steam上更是超过了%。Unity拥有出色的跨平台性能、较低的开发难度、强大的社区生态,是各类3D游戏项目,尤其是移动游戏的首选引擎。Unity的一个显著特点是“干净”的引擎设计,除了通用基础设施外,它没有提供太多Gameplay模块,这使得开发者可以高度自由地定制游戏逻辑,学习成本较低。Unity在写实渲染技术和动画技术方面略有落后于Unreal Engine,动画控制仍然较为基础,尽管新推出的Playable API试图解决该问题,但仍存在一些问题。在更换渲染管道方面,Unity相对容易一些。在移动端适配方面,Unity在中低端设备上表现更好。Unity的写实渲染技术和动画技术虽不及Unreal Engine,但在更换渲染管道的便利性和移动端适配方面具有优势。Unity的收费模式包括个人版、Pro或企业版,以及基于开发者收入和客户端安装量的新型收费模式。C#是Unity引擎的主要编程语言,性能在IL2CPP的加持下已经接近C++,在TIOBE编程语言排行榜上常年位于前5名。Unity使得开发者有机会接触微软的C#语言,这是很多开发者可能未曾接触过的偏向桌面开发的语言。Unity支持的游戏应用商店数量众多,包括《原神》、《崩坏3》、《王者荣耀》等。
总结:Cocos与Unity是游戏开发领域中的两个重要选择,它们在2D与3D游戏开发方面各有优势与特点。Cocos Creator以其成熟稳定的性能和相对较低的开发成本,在国内2D游戏市场占据领先地位,而Unity则以其出色的技术支持、广泛的应用场景以及丰富的社区资源,成为全球游戏开发者首选的3D游戏引擎。开发者在选择引擎时应根据项目需求、团队技术水平以及成本预算等因素综合考虑。
UE5 ModelingMode & GeometryScript源码学习(一)
前言
ModelingMode是虚幻引擎5.0后的新增功能,用于直接在引擎中进行3D建模,无需外接工具,实现快速原型设计和特定需求的模型创建。GeometryScript是用于通过编程方式创建和操控3D几何体的系统,支持蓝图或Python脚本,提供灵活控制能力。
本文主要围绕ModelingMode与GeometryScript源码学习展开,涵盖DMC简介、查找感兴趣功能源码、动态网格到静态网格的代码介绍。
起因
在虚幻4中,通过RuntimeMeshComponent或ProceduralMeshComponent组件实现简单模型的程序化生成。动态网格组件(DynamicMeshComponent)在UE5中提供了额外功能,如三角面级别处理、转换为StaticMesh/Volume、烘焙贴图和编辑UV等。
将动态网格对象转换为静态网格对象时,发现官方文档对DMC与PMC对比信息不直接涉及此转换。通过搜索发现,DynamicMesh对象转换为StaticMesh对象的代码位于Source/Runtime/MeshConversion目录下的UE::Modeling::CreateMeshObject函数中。
在UE::Modeling::CreateMeshObject函数内,使用UEditorModelingObjectsCreationAPI对象进行动态网格到静态网格的转换,通过HasMoveVariants()函数接受右值引用参数。UEditorModelingObjectsCreationAPI::CreateMeshObject函数进一步处理转换参数,UE::Modeling::CreateStaticMeshAsset函数负责创建完整的静态网格资产。
总结转换流程,DynamicMesh对象首先收集世界、变换、资产名称和材质信息,通过FCreateMeshObjectParams对象传递给UE::Modeling::CreateMeshObject函数,该函数调用UE::Modeling::CreateStaticMeshAsset函数创建静态网格资产。
转换为静态网格后,程序创建了一个静态网格Actor和组件。此过程涉及静态网格属性设置,最终返回FCreateMeshObjectResult对象表示转换成功。
转换静态网格为Volume、动态网格同样在相关函数中实现。
在Modeling Mode中添加基础形状涉及UInteractiveToolManager::DeactivateToolInternal函数,当接受基础形状时,调用UAddPrimitiveTool::GenerateAsset函数,根据面板选择的输出类型创建模型。
最后,UAddPrimitiveTool::Setup函数创建PreviewMesh对象,UAddPrimitiveTool::UpdatePreviewMesh()函数中通过UAddPrimitiveTool::GenerateMesh生成网格数据填充FDynamicMesh3对象,进而更新到PreviewMesh中。
文章总结了Modeling Mode与GeometryScript源码的学习路径,从动态网格到静态网格的转换、基础形状添加到输出类型对应函数,提供了一条完整的流程概述。