皮皮网

【ios fakegps项目源码】【php 单页订单系统源码】【仿糗事百科笑话源码】autograd 源码分析

2024-12-26 01:27:27 来源:闯关游戏源码小程序破解版

1.3d稀疏卷积——spconv源码剖析(五)
2.PyTorch源码学习系列 - 2. Tensor

autograd 源码分析

3d稀疏卷积——spconv源码剖析(五)

       介绍在构建的源码Rulebook指导下执行特定的稀疏卷积计算,关注于类SparseConvolution,分析其代码位于spconv/conv.py。源码

       Fsp.indice_subm_conv和Fsp.indice_conv经过spconv/functional.py中的分析SubMConvFunction和SparseConvFunction对象转换,最终会调用spconv/ops.py模块中的源码indice_conv等函数。

       专注于子流线卷积接口:indice_subm_conv,分析ios fakegps项目源码其代码位于spconv/functional.py。源码

       通过Python接口调用底层C++函数可能不够直观,分析因此使用torch.autograd.Function封装算子底层调用,源码该类表示PyTorch中的分析可导函数,具备前向推理和反向传播实现时,源码即可作为普通PyTorch函数使用。分析

       值得注意的源码php 单页订单系统源码是,Function类在模型部署中具有优势,分析若定义了symbolic静态方法,源码此Function在执行torch.onnx.export()时,可依据symbolic定义规则转换为ONNX算子。

       apply方法是torch.autograd.Function的一部分,此方法负责在前向推理或反向传播时的调度工作。通过将indice_subm_conv = SubMConvFunction.apply简化为indice_subm_conv接口,简化了算子使用,屏蔽了SubMConvFunction的具体实现。

       SubMConvFunction的前向传播方法forward调用spconv/ops.py的indice_conv函数。在src/spconv/all.cc文件中,通过PyTorch提供的仿糗事百科笑话源码OP Register对底层C++API进行注册。

       通过torch.ops.load_library加载.so文件,使用torch.ops.spconv.indice_conv调用src/spconv/spconv_ops.cc文件中的indiceConv函数。

       深入探索src/spconv/spconv_ops.cc文件中的indiceConv函数。

       代写部分代码内容...

PyTorch源码学习系列 - 2. Tensor

       本系列文章同步发布于微信公众号小飞怪兽屋及知乎专栏PyTorch源码学习-知乎(zhihu.com),欢迎关注。

       若问初学者接触PyTorch应从何学起,答案非神经网络(NN)或自动求导系统(Autograd)莫属,而是看似平凡却无所不在的张量(Tensor)。正如编程初学者在控制台输出“Hello World”一样,Tensor是PyTorch的“Hello World”,每个初学者接触PyTorch时,都通过torch.tensor函数创建自己的牛贝公众号淘宝客源码Tensor。

       编写上述代码时,我们已步入PyTorch的宏观世界,利用其函数创建Tensor对象。然而,Tensor是如何创建、存储、设计的?今天,让我们深入探究Tensor的微观世界。

       Tensor是什么?从数学角度看,Tensor本质上是多维向量。在数学里,数称为标量,四维k线指标源码一维数据称为向量,二维数据称为矩阵,三维及以上数据统称为张量。维度是衡量事物的方式,例如时间是一种维度,销售额相对于时间的关系可视为一维Tensor。Tensor用于表示多维数据,在不同场景下具有不同的物理含义。

       如何存储Tensor?在计算机中,程序代码、数据和生成数据都需要加载到内存。存储Tensor的物理媒介是内存(GPU上是显存),内存是一块可供寻址的存储单元。设计Tensor存储方案时,需要先了解其特性,如数组。创建数组时,会向内存申请一块指定大小的连续存储空间,这正是PyTorch中Strided Tensor的存储方式。

       PyTorch引入了步伐(Stride)的概念,表示逻辑索引的相对距离。例如,一个二维矩阵的Stride是一个大小为2的一维向量。Stride用于快速计算元素的物理地址,类似于C/C++中的多级指针寻址方式。Tensor支持Python切片操作,因此PyTorch引入视图概念,使所有Tensor视图共享同一内存空间,提高程序运行效率并减少内存空间浪费。

       PyTorch将Tensor的物理存储抽象成一个Storage类,与逻辑表示类Tensor解耦,建立Tensor视图和物理存储Storage之间多对一的联系。Storage是声明类,具体实现在实现类StorageImpl中。StorageImp有两个核心成员:Storage和StorageImpl。

       PyTorch的Tensor不仅用Storage类管理物理存储,还在Tensor中定义了很多相关元信息,如size、stride和dtype,这些信息都存在TensorImpl类中的sizes_and_strides_和data_type_中。key_set_保存PyTorch对Tensor的layout、device和dtype相关的调度信息。

       PyTorch创建了一个TensorBody.h的模板文件,在该文件中创建了一个继承基类TensorBase的类Tensor。TensorBase基类封装了所有与Tensor存储相关的细节。在类Tensor中,PyTorch使用代码自动生成工具将aten/src/ATen/native/native_functions.yaml中声明的函数替换此处的宏${ tensor_method_declarations}

       Python中的Tensor继承于基类_TensorBase,该类是用Python C API绑定的一个C++类。THPVariable_initModule函数除了声明一个_TensorBase Python类之外,还通过torch::autograd::initTorchFunctions(module)函数声明Python Tensor相关的函数。

       torch.Tensor会调用C++的THPVariable_tensor函数,该函数在文件torch/csrc/autograd/python_torch_functions_manual.cpp中。在经过一系列参数检测之后,在函数结束之前调用了torch::utils::tensor_ctor函数。

       torch::utils::tensor_ctor在文件torch/csrc/utils/tensor_new.cpp中,该文件包含了创建Tensor的一些工具函数。在该函数中调用了internal_new_from_data函数创建Tensor。

       recursive_store函数的核心在于

       Tensor创建后,我们需要通过函数或方法对其进行操作。Tensor的方法主要通过torch::autograd::variable_methods和extra_methods两个对象初始化。Tensor的函数则是通过initTorchFunctions初始化,调用gatherTorchFunctions来初始化函数,主要分为两种函数:内置函数和自定义函数。