皮皮网

1.Underscore源码分析
2.PyTorch 源码解读之 torch.utils.data：解析数据处理全流程
3.Android-Fragment源码分析
4.tokenization分词算法及源码
5.PyTorch - DataLoader 源码解析（一）
6.STL源码剖析总结笔记（5）：认识迭代器的迭代迭代好帮手--list

Underscore源码分析

       JavaScript，作为最被低估的源码编程语言之一，自从Node.js的器源出现，全端开发（All Stack/Full Stack）概念日渐兴起，迭代迭代现今，源码其地位不可小觑。器源保险商城源码JavaScript实质上是迭代迭代一种类C语言，对于具备C语言基础的源码学习者，理解JavaScript代码大体上较为容易，器源然而，迭代迭代作为脚本语言，源码JavaScript的器源灵活性远超C语言，这在一定程度上给学习者带来了一定的迭代迭代困难。

       集合是源码JavaScript中一种重要的概念，下面我们就来看看其中的器源几个迭代方法。

       首先，集合中的迭代方法包括`_.each`和`_.forEach`，这两个方法在功能上基本一致，主要用于对集合进行遍历。它们接受三个参数：集合、迭代函数和执行环境。其中，`_.each`和`_.forEach`在ES6中为数组添加了原生的`forEach`方法，但后者更灵活，能够应用于所有集合。

       `_.each`和`_.forEach`在遍历时会根据集合的类型（类数组或对象）调用不同的实现。如若集合有`Length`属性且为数字且在0至`MAX_ARRAY_INDEX`之间，则判定为类数组，否则视为对象集合。在遍历过程中，`_.each`和`_.forEach`会根据集合的特性使用合适的迭代方式。

       在处理集合时，`_.map`和`_.reduce`方法的实现原理类似，`_.map`用于获取集合中元素的映射结果，而`_.reduce`则用于逐元素执行函数并逐步聚合结果。

       此外，`_.find`函数与`Array.some()`具有相似性，不同之处在于`_.find`返回第一个使迭代结果为真的元素，而`Array.some()`则返回一个布尔值。`_.find`和`_.detect`函数基于`_.findIndex`和`_.findLastIndex`实现，它们分别在正序和反序的情况下查找满足条件的元素。

       在处理集合时，`_.max`方法用于寻找集合中的最大值，通过循环比较集合中的所有项，最终返回最大值。`_.toArray`则负责将各种类型的集合转换为数组，确保数据的格式统一。对于数组、类数组对象、普通对象以及null或undefined的情况，`_.toArray`分别采用了不同的爱尚聚合支付源码处理方式，确保了转换过程的灵活性与准确性。

       至于集合转换为数组的问题，JavaScript中的数据类型多样，理解它们之间的区别对于开发者来说至关重要。然而，`_.toArray`函数的设计似乎更侧重于处理特定类型的数据，而不仅仅基于JavaScript的基本数据类型。在实际应用中，开发者需要根据具体场景灵活运用这些工具，以实现高效、准确的数据处理。

PyTorch 源码解读之 torch.utils.data：解析数据处理全流程

       文@

       目录

       0 前言

       1 Dataset

       1.1 Map-style dataset

       1.2 Iterable-style dataset

       1.3 其他 dataset

       2 Sampler

       3 DataLoader

       3.1 三者关系 (Dataset, Sampler, Dataloader)

       3.2 批处理

       3.2.1 自动批处理（默认）

       3.2.2 关闭自动批处理

       3.2.3 collate_fn

       3.3 多进程处理 (multi-process)

       4 单进程

       5 多进程

       6 锁页内存 (Memory Pinning)

       7 预取 (prefetch)

       8 代码讲解

       0 前言

       本文以 PyTorch 1.7 版本为例，解析 torch.utils.data 模块在数据处理流程中的应用。

       理解 Python 中的迭代器是解读 PyTorch 数据处理逻辑的关键。Dataset、Sampler 和 DataLoader 三者共同构建数据处理流程。

       迭代器通过实现 __iter__() 和 __next__() 方法，支持数据的循环访问。Dataset 提供数据获取接口，Sampler 控制遍历顺序，DataLoader 负责加载和批处理数据。

       1 Dataset

       Dataset 包括 Map-style 和 Iterable-style 两种，分别用于索引访问和迭代访问数据。

       Map-style dataset 通过实现 __getitem__() 和 __len__() 方法，支持通过索引获取数据。

       Iterable-style dataset 实现 __iter__() 方法，适用于随机访问且批次大小依赖于获取数据的场景。

       2 Sampler

       Sampler 用于定义数据遍历的顺序，支持用户自定义和 PyTorch 提供的内置实现。

       3 DataLoader

       DataLoader 是数据加载的核心，支持 Map-style 和 Iterable-style Dataset，提供单多进程处理和批处理等功能。

       通过参数配置，如 batch_size、drop_last、collate_fn 等，DataLoader 实现了数据的自动和手动批处理。

       4 批处理

       3.2.1 自动批处理（默认）

       DataLoader 默认使用自动批处理，通过参数控制批次生成和样本整理。

       3.2.2 关闭自动批处理

       关闭自动批处理，允许用户自定义批处理逻辑或处理单个样本。

       3.2.3 collate_fn

       collate_fn 是手动批处理时的关键，用于整理单个样本为批次。

       5 多进程

       多进程处理通过 num_workers 参数启用，加速数据加载。

       6 单进程

       单进程模式下，数据加载可能影响计算流程，适用于数据量小且无需多进程的场景。

       7 锁页内存 (Memory Pinning)

       Memory Pinning 技术确保数据在 GPU 加速过程中快速传输，提高性能。放量倍阴指标源码

       8 代码讲解

       通过具体代码分析，展示了 DataLoader 的初始化、迭代和数据获取过程，涉及迭代器、Sampler 和 Dataset 的交互。

Android-Fragment源码分析

       Fragment是Android系统为了提高应用性能和降低资源消耗而引入的一种更轻量级的组件，它允许开发者在同一个Activity中加载多个UI组件，实现页面的切换与回退。Fragment可以看作是Activity的一个子部分，它有自己的生命周期和内容视图。

       在实际应用中，Fragment可以用于构建动态、可复用的UI组件，例如聊天应用中，左右两边的布局（联系人列表和聊天框）可以分别通过Fragment来实现，通过动态地更换Fragment，达到页面的切换效果，而无需整个页面的刷新或重新加载。

       在实现上，v4.Fragment与app.Fragment主要区别在于兼容性。app.Fragment主要面向Android 3.0及以上版本，而v4.Fragment（即支持包Fragment）则旨在提供向下兼容性，支持Android 1.6及更高版本。使用v4.Fragment时，需要继承FragmentActivity并使用getSupportFragmentManager()方法获取FragmentManager对象。尽管从API层面看，两者差异不大，但官方倾向于推荐使用v4.Fragment，以确保更好的兼容性和性能优化。

       下面的示例展示了如何使用v4.Fragment实现页面的加载与切换。通过创建Fragment和FragmentActivity，我们可以加载特定的Fragment，并在不同Fragment间进行切换。

       在FragmentDemo的布局文件中，定义了Fragment容器。

       在Fragment代码中，定义了具体的业务逻辑和视图渲染，如初始化界面数据、响应用户事件等。

       在Activity代码中，通过FragmentManager的beginTransaction方法，加载指定的Fragment实例，并在需要时切换到不同Fragment，实现页面的动态更新。

       从官方的建议来看，v4.Fragment已经成为推荐的使用方式，因为它在兼容性、性能和功能方面都更优于app.Fragment。随着Android系统的迭代，使用v4.Fragment能确保应用在不同版本的校园跑腿源码含接单Android设备上均能获得良好的运行效果。

       在Fragment的生命周期管理中，Fragment与Activity的生命周期紧密关联。通过FragmentManager的操作，如commit、replace等，可以将Fragment加入到Activity的堆栈中，实现页面的加载与切换。当用户需要返回时，系统会自动将当前Fragment从堆栈中移除，从而实现页面的回退。

       深入Fragment源码分析，我们可以了解其如何在底层实现这些功能。Fragment的初始化、加载、切换等过程涉及到多个关键类和方法，如FragmentManager、FragmentTransaction、BackStackRecord等。通过这些组件的协作，Fragment能够实现与Activity的生命周期同步，确保用户界面的流畅性和高效性。

       在实际开发中，使用Fragment可以显著提高应用的响应速度和用户体验。通过动态加载和切换不同的Fragment，开发者可以构建出更加灵活、高效的应用架构，同时减少资源的消耗，提高应用的性能。

tokenization分词算法及源码

       Byte Pair Encoding（BPE）算法将单词分割为每个字母，统计相邻字母的频率，将出现频率最高的组合替换为新的token，以此进行分词。实现过程中先预处理所有单词，从最长到最短的token进行迭代，尝试替换单词中的子字符串为token，并保存每个单词的tokenize结果。对于文本中未见的单词，使用“unk”标记。

       Byte-level BPE方法将每个词视为unicode的字节，初始词典大小为，然后进行合并。它适用于GPT2模型。

       WordPiece算法与BPE类似，但采用最高频率的单词对替换为概率最高的单词对，以增加最大概率增量。它被用于BERT模型。

       ULM（Unigram Language Model）SentencePiece算法结合了BPE和ULM子词算法，支持字节级和字符级，对unicode进行规范化处理。

       核心代码中包含子词采样策略，同城交友app源码搭建即在分词时随机选择最佳的分词方案，以增加泛化性和扩展性。使用了subword regularization，适用于llama、albert、xlnet、t5等模型。

       详细资料可参考《大语言模型之十 SentencePiece》一文，原文发布在towardsdatascience.com。

PyTorch - DataLoader 源码解析（一）

       本文为作者基于个人经验进行的初步解析，由于能力有限，可能存在遗漏或错误，敬请各位批评指正。

       本文并未全面解析 DataLoader 的全部源码，仅对 DataLoader 与 Sampler 之间的联系进行了分析。以下内容均基于单线程迭代器代码展开，多线程情况将在后续文章中阐述。

       以一个简单的数据集遍历代码为例，在循环中，数据是如何从 loader 中被取出的？通过断点调试，我们发现循环时，代码进入了 torch.utils.data.DataLoader 类的 __iter__() 方法，具体内容如下：

       可以看到，该函数返回了一个迭代器，主要由 self._get_iterator() 和 self._iterator._reset(self) 提供。接下来，我们进入 self._get_iterator() 方法查看迭代器的产生过程。

       在此方法中，根据 self.num_workers 的数量返回了不同的迭代器，主要区别在于多线程处理方式不同，但这两种迭代器都是继承自 _BaseDataLoaderIter 类。这里我们先看单线程下的例子，进入 _SingleProcessDataLoaderIter(self)。

       构造函数并不复杂，在父类的构造器中执行了大量初始化属性，然后在自己的构造器中获得了一个 self._dataset_fetcher。此时继续单步前进断点，发现程序进入到了父类的 __next__() 方法中。

       在分析代码之前，我们先整理一下目前得到的信息：

       下面是 __next__() 方法的内容：

       可以看到最后返回的是变量 data，而 data 是由 self._next_data() 生成的，进入这个方法，我们发现这个方法由子类负责实现。

       在这个方法中，我们可以看到数据从 self._dataset_fecther.fetch() 中得到，需要依赖参数 index，而这个 index 由 self._next_index() 提供。进入这个方法可以发现它是由父类实现的。

       而前面的 index 实际上是由这个 self._sampler_iter 迭代器提供的。查找 self._sampler_iter 的定义，我们发现其在构造函数中。

       仔细观察，我们可以在倒数第 4 行发现 self._sampler_iter = iter(self._index_sampler)，这个迭代器就是这里的 self._index_sampler 提供的，而 self._index_sampler 来自 loader._index_sampler。这个 loader 就是最外层的 DataLoader。因此我们回到 DataLoader 类中查看这个 _index_sampler 是如何得到的。

       我们可以发现 _index_sampler 是一个由 @property 装饰得到的属性，会根据 self._auto_collation 来返回 self.batch_sampler 或者 self.sampler。再次整理已知信息，我们可以得到：

       因此，只要知道 batch_sampler 和 sampler 如何返回 index，就能了解整个流程。

       首先发现这两个属性来自 DataLoader 的构造函数，因此下面先分析构造函数。

       由于构造函数代码量较大，因此这里只关注与 Sampler 相关的部分，代码如下：

       在这里我们只关注以下部分：

       代码首先检查了参数的合法性，然后进行了一轮初始化属性，接着判断了 dataset 的类型，处理完特殊情况。接下来，函数对参数冲突进行了判断，共判断了 3 种参数冲突：

       检查完参数冲突后，函数开始创建 sampler 和 batch_sampler，如下图所示：

       注意，仅当未指定 sampler 时才会创建 sampler；同理，仅在未指定 batch_sampler 且存在 batch_size 时才会创建 batch_sampler。

       在 DataLoader 的构造函数中，如果不指定参数 batch_sampler，则默认创建 BatchSampler 对象。该对象需要一个 Sampler 对象作为参数参与构造。这也是在构造函数中，batch_sampler 与 sampler 冲突的原因之一。因为传入一个 batch_sampler 时，说明 sampler 已经作为参数完成了 batch_sampler 的构造，若再将 sampler 传入 DataLoader 是多余的。

       以第一节中的简单代码为例，此时并未指定 Sampler 和 batch_sampler，也未指定 batch_size，默认为 1，因此在 DataLoader 构造时，创建了一个 SequencialSampler，并传入了 BatchSampler 进行构建。继续第一节中的断点，可以发现：

       具体使用 sampler 还是 batch_sampler 来生成 index，取决于 _auto_collation，而从上面的代码发现，只要存在 self.batch_sampler 就永远使用 batch_sampler 来生成。batch_sampler 与 sampler 冲突的原因之二：若不设置冲突，那么使用者试图同时指定 batch_sampler 与 sampler 后，尤其是在使用者继承了新的 Sampler 子类后， sampler 在获取数据的时候完全没有被使用，这对开发者来说是一个困惑的现象，容易引起不易察觉的 BUG。

       继续断点发现程序进入了 BatchSampler 的 __iter__() 方法，代码如下：

       从代码中可以发现，程序不停地从 self.sampler 中获取 idx 加入列表，直到填满一个 batch 的量，并将这一整个 batch 的 index 返回到迭代器的 _next_data()。

       此处由 self._dataset_fetcher.fetch(index) 来获取真正的数据，进入函数后看到：

       这里依然根据 self.auto_collation（来自 DataLoader._auto_collation）进行分别处理，但是总体逻辑都是通过 self.dataset[] 来调用 Dataset 对象的 __getitem__() 方法。

       此处的 Dataset 是来自 torchvision 的 DatasetFolder 对象，这里读取文件路径中的后，经过转换变为 Tensor 对象，与标签 target 一起返回。参数中的 index 是由迭代器的 self._dataset_fetcher.fetch() 传入。

       整个获取数据的流程可以用以下流程图简略表示：

       注意：

       另附：

       对于一条循环语句，在执行过程中发生了以下事件：

STL源码剖析总结笔记（5）：认识迭代器的好帮手--list

       在深入探讨STL中的`list`容器之前，我们先简要回顾了`vector`的特性以及分配器（`allocator`）的作用。接下来，我们将转向一个具有代表性的容器——`list`。之所以说其具有代表性，是因为`list`利用非连续的空间存储元素，从而在空间利用上更为精确。学习`list`是掌握迭代器机制的第一步。

       “list”实质上是双向链表，它具有两个重要特性：前向指针和后向指针。在STL中，`list`节点的定义可能使用`_list_node*`（可能为了兼容性或设计规范）来指代节点结构，其中包含了指向下一个节点和上一个节点的指针。

       `list`的内部实现为一个环状的双向链表结构，通过一个指向虚拟尾节点的指针`node`来方便遍历。`begin()`和`end()`方法的实现依赖于这个`node`。此外，`empty()`、`size()`、`front()`（访问头节点内容）、`back()`（访问尾节点内容）等方法的实现相对直截了当。

       `list`的迭代器（`iterator`）设计得更为复杂，因为非连续的空间分配使得简单指针的操作无法直接使用。迭代器需要智能地追踪当前节点及其前后的节点，以便进行递增、递减和取值操作。这要求迭代器实现诸如`++`和`--`等操作符的重载，同时还需要定义至少1-5个`typedef`类型来支持迭代器的基本行为。

       `++`操作符的重载遵循前置`++`和后置`++`的区别：前置`++`直接返回计算后的结果（即更新后的迭代器），而后置`++`返回迭代器的副本，避免了在C++中直接对整数进行两次后置`++`的操作，因为这会导致未定义的行为。`*`和`->`操作符用于访问当前节点的数据和成员，后者通过`*`操作符访问节点数据后再通过指针访问成员，确保了数据的安全访问。

       `list`的基本操作主要依赖于节点指针的移动和修改，如插入、删除等。这些操作通常需要考虑双向链表的特性以及虚拟尾节点的存在，以避免丢失数据或产生无效指针。例如，`transfer()`方法是一个关键功能，允许将一段连续范围的元素移动到链表中的特定位置，这是许多其他复杂操作的基础。

       在`list`中，`transfer()`方法实现了将`[first,last)`范围内的元素移动到指定位置的逻辑，通过调整节点的`next`和`prev`指针来完成移动，同时确保了数据的完整性。基于`transfer()`方法，其他高级操作也能够实现，尽管这些操作通常不直接暴露给用户，而是通过封装在`list`内部的实现来提供。

       学习`list`不仅有助于理解迭代器的设计原理，也为探索其他容器（如`vector`和`deque`）的实现提供了基础。在接下来的内容中，我们将详细探讨迭代器的实现技巧，以及如何在实际编程中利用这些概念来优化代码。

Iterator与Iterable剖析

       Iterable（java.lang）：可迭代的；可重复的；因此实现了这个接口的集合对象支持迭代，是可迭代（able）的。

       Iterator（java.util）：iterator就是迭代者（tor），我们一般叫迭代器，它就是提供迭代机制的对象，具体如何迭代，都是Iterator接口规范的。

       Iterable：一个集合对象要表明自己支持迭代，能有使用for each语句的特权，就必须实现Iterable接口，且必须实现其中的iterator()方法，生成一个迭代器。

       注意！！！实现了java.lang.Iterable接口的东西可以用for-each去遍历，但是能用for-each去遍历的不一定实现了该接口，比如数组就是。

       这个迭代器是用接口定义的 iterator方法提供的。也就是iterator方法需要返回一个Iterator对象。

       Iterable源码：由源码图可以看出，Iterable有三个方法，分别是1 Iterator iterator();2 default void forEach(Consumer action){ }; JDK 1.8后新增的默认方法；3 default Spliterator spliterator(){ }; JDK 1.8后新增的默认方法。

       Iterator：被称之为顺序遍历迭代器，jdk中默认对集合框架中数据结构做了实现。Iterator在实际应用中有一个比较好的点就是，可以一边遍历一边删除元素。

       Iterator源码：由源码图Iterator接口中定义了四个方法，分别是1 boolean hasNext()：如果被迭代遍历的集合还没有被遍历完，返回True；2 Object next()：返回集合里面的下一个元素；3 remove()：删除集合里面上一次next()方法返回的元素；4 void forEachRemaining(Consumer action)：JDK 1.8后新增默认方法 使用Lambda表达式来遍历集合元素。

       forEachRemaining()与forEach()方法之间的区别？通过源码，我们可以看出他们之间的区别与联系。相同点：都可以遍历集合；都是接口的默认方法；都是1.8版本引入的。区别：forEachRemaining()方法内部是通过使用迭代器Iterator的所有元素，forEach()方法内部使用的是增强for循环。

       iterator示例：迭代出来的元素都是原来集合元素的拷贝，Java集合中保存的元素实质是对象的引用(可以理解为C中的指针)，而非对象本身。迭代出的元素也就都是引用的拷贝，结果还是引用。

       如果集合中保存的元素是可变类型的，我们就可以通过迭代出的元素修改原集合中的对象。而对于不可变类型，如String、基本元素的包装类型Integer都是则不会反应到原集合中。而for each遍历元素的本质就是通过迭代器遍历元素，所以for each循环能否改变元素的值基本类型数组，不可改变；引用类型数组（除String类型），可以改变。

从应用到源码理解STL反向迭代器

       在实际应用中，我们可能需要从序列容器（如vector）的尾部移除不满足特定条件的部分元素。这通常涉及从尾部开始的迭代操作。然而，容器成员函数erase不接受反向迭代器作为参数。因此，我们需要将反向迭代器转换为普通迭代器。先来看看STL迭代器的分类和转换关系。

       STL迭代器主要分为用途迭代器，它们之间存在转换关系，但不是所有迭代器类型都可以相互转换。转换关系需通过迭代器的构造函数定义，有些可以直接转换，有些则需调用特定方法。

       特别地，反向迭代器到普通迭代器的转换可以通过调用反向迭代器的base()方法实现。但初版代码存在缺陷，未能按预期将元素正确删除。通过跟踪代码并参考cpp reference文档，我们发现base()方法返回的迭代器实际上比预期位置靠后一个元素。

       为了修正这个问题，我们需要将通过base()方法得到的迭代器向前移动一个位置，以正确指向第一个符合移除条件的元素。修改代码后，可以确保元素按约定进行删除。

       在一般场景下，迭代器的使用主要涉及遍历访问和遍历修改元素值。对于删除和插入操作，可能需要将反向迭代器转换为普通迭代器。STL容器的erase和insert成员函数仅接受普通迭代器作为参数。

       在执行插入操作时，直接使用base()将反向迭代器转换为普通迭代器，并传入insert函数，其语义是一致的。而在删除操作中，直接使用base()转换后的迭代器可能无法正确执行，因为反向迭代器和普通迭代器在终止位置上的处理存在差异。为了修正此问题，需要手动调整，确保迭代器的有效性。

       对于反向迭代器，通过正确的反向迭代操作得到的迭代器，在不等于rend()返回的迭代器时，都是指向有效值的。因此，除了rend().base()-1操作可能导致问题外，其他转换通常都是安全的。

       讨论end()迭代器的前移操作时，需要考虑是否能够安全地访问容器的尾端元素。对于随机访问迭代器，如vector容器，end()返回的迭代器可以进行前移操作，但需确保移动操作的合法性。对于双向访问迭代器如list，同样可以进行前移操作以访问尾端元素。

       结束讨论前，还需要确认iterator的-1操作是否对指向容器尾端元素的迭代器有效。在vector容器中，通过end成员函数返回的迭代器通过-1操作可以得到指向尾端元素的普通迭代器。对于list容器，其end成员函数返回的迭代器也支持前移操作。

       总结来说，支持向前移动操作的迭代器访问容器内元素的容器，其end成员函数通过前移操作可以得到一个指向容器尾端元素的迭代器。这符合双向迭代器的设定语义。通过反向迭代器的原理，我们也能验证end()函数返回的迭代器可以进行反向移动。