皮皮网

1.剖析Linux内核源码解读之《配置与编译》
2.解析LinuxSS源码探索一探究竟linuxss源码
3.Linux内核源码分析：Linux进程描述符task_ struct结构体详解
4.Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理
5.linux系统调用之write源码解析（基于linux0.11）
6.Linux内核源码分析：Linux内核版本号和源码目录结构

剖析Linux内核源码解读之《配置与编译》

       Linux内核的码分配置与编译过程详解如下：

       配置阶段

       首先，从kernel.org获取内核源代码，析教如在Ubuntu中，程交可通过`sudo apt-get source linux-$(uname -r)`获取到，码分源码存放在`/usr/src/`。析教配置时，程交仿站源码模板主要依据`arch//configs/`目录下的码分默认配置文件，使用`cp`命令覆盖`/boot/config`文件。析教配置命令有多种，程交如通过`.config`文件进行手动修改，码分但推荐在编译前进行系统配置。析教配置时注意保存配置，程交例如使用`/proc/config.gz`，码分以备后续需要。析教

       编译阶段

       内核编译涉及多种镜像类型，程交如针对ARM的交叉编译，常用命令是特定的。编译过程中，可能会遇到错误，需要针对具体问题进行解决。编译完成后，将模块和firmware（体系无关）分别存入指定文件夹，记得为某些硬件添加对应的firmware文件到`lib/firmware`目录。

       其他内容

       理解vmlinux、vmlinuz（zImage, bzImage, uImage）之间的关系至关重要。vmlinuz是压缩后的内核镜像，zImage和bzImage是vmlinuz的压缩版本，其中zImage在内存低端解压，而bzImage在高端解压。uImage是uBoot专用的，是在zImage基础上加上特定头信息的版本。

解析LinuxSS源码探索一探究竟linuxss源码

       被誉为“全球最复杂开源项目”的Linux SS（Secure Socket）是一款轻量级的网络代理工具，它在Linux系统上非常受欢迎，也成为了大多数网络应用的首选。Linux SS的源码的代码量相当庞大，也备受广大开发者的关注，潜心钻研Linux SS源码对于网络研究者和黑客们来说是非常有必要的。

       我们以Linux 3. 内核的SS源码为例来分析，Linux SS的源码目录位于linux/net/ipv4/netfilter/目录下，在该目录下包含了Linux SS的主要代码，我们可以先查看其中的主要头文件，比如说：

       include/linux/netfilter/ipset/ip_set.h

       include/linux/netfilter_ipv4/ip_tables.h

       include/linux/netfilter/x_tables.h

       这三个头文件是Linux SS系统的核心结构之一。

       接下来，我们还要解析两个核心函数：iptables_init函数和iptables_register_table函数，这两个函数的actuator源码分析主要作用是初始化网络过滤框架和注册网络过滤表。iptables_init函数主要用于初始化网络过滤框架，主要完成如下功能：

       1. 调用xtables_init函数，初始化Xtables模型；

       2. 调用ip_tables_init函数，初始化IPTables模型；

       3. 调用nftables_init函数，初始化Nftables模型；

       4. 调用ipset_init函数，初始化IPset模型。

       而iptables_register_table函数主要用于注册网络过滤表，主要完成如下功能：

       1. 根据提供的参数检查表的有效性；

       2. 创建一个新的数据结构xt_table；

       3. 将该表注册到ipt_tables数据结构中；

       4. 将表名及对应的表结构存放到xt_tableshash数据结构中；

       5. 更新表的索引号。

       到这里，我们就大致可以了解Linux SS的源码，但Learning Linux SS源码只是静态分析，细节的分析还需要真正的运行环境，观察每个函数的实际执行，而真正运行起来的Linux SS，是与系统内核非常紧密结合的，比如：

       1. 调用内核函数IPv6_build_route_tables_sockopt，构建SS的路由表；

       2. 调用内核内存管理系统，比如kmalloc、vmalloc等，分配SS所需的内存；

       3. 初始化Linux SS的配置参数；

       4. 调用内核模块管理机制，加载Linux SS相关的内核模块；

       5. 调用内核功能接口，比如netfilter, nf_conntrack, nf_hook等，通过它们来执行对应的网络功能。

       通过上述深入了解Linux SS源码，我们可以迅速把握Linux SS的构架和实现，也能熟悉Linux SS的具体运行流程。Linux SS的深层原理揭示出它未来的发展趋势，我们也可以根据Linux SS的现有架构改善Linux的网络安全机制，进一步开发出与Linux SS和系统内核更加融合的高级网络功能。

Linux内核源码分析：Linux进程描述符task_ struct结构体详解

       Linux内核通过一个task_struct结构体来管理进程，这个结构体包含了一个进程所需的所有信息。它定义在include/linux/sched.h文件中，包含许多字段，其中state字段表示进程的当前状态。常见的状态包括运行、阻塞、等待信号、终止等。进程状态的切换和原因可通过内核函数进行操作。PID是系统用来唯一标识正在运行的每个进程的数字标识，tgid成员表示线程组中所有线程共享的PID。进程内核栈用于保存进程在内核态执行时的临时数据和上下文信息，通常为几千字节。内核将thread_info结构与内核态线程堆栈结合在一起，last 命令源码占据连续的两个页框，以便于访问线程描述符和栈。获取当前运行进程的thread_info可通过esp栈指针实现。thread_info结构包含task字段，指向进程控制块（task_struct）。task_struct结构体的flags字段用于记录进程标记或状态信息，如创建、超级用户、核心转储、信号处理、退出等。而real_parent和parent成员表示进程的亲属关系，用于查找和处理进程树中的亲属关系。

Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理

       引子

       在如今的大型服务器中，NUMA架构扮演着关键角色。它允许系统拥有多个物理CPU，不同NUMA节点之间通过QPI通信。虽然硬件连接细节在此不作深入讨论，但需明白每个CPU优先访问本节点内存，当本地内存不足时，可向其他节点申请。从传统的SMP架构转向NUMA架构，主要是为了解决随着CPU数量增多而带来的总线压力问题。

       分配物理内存时，numa_node_id() 方法用于查询当前CPU所在的NUMA节点。频繁的内存申请操作促使Linux内核采用per-cpu实现，将CPU访问的变量复制到每个CPU中，以减少缓存行竞争和False Sharing，类似于Java中的Thread Local。

       分配物理页

       尽管我们不必关注底层实现，buddy system负责分配物理页，关键在于使用了numa_node_id方法。接下来，我们将深入探索整个Linux内核的per-cpu体系。

       numa_node_id源码分析获取数据

       在topology.h中，我们发现使用了raw_cpu_read函数，传入了numa_node参数。接下来，我们来了解numa_node的定义。

       在topology.h中定义了numa_node。我们继续跟踪DECLARE_PER_CPU_SECTION的定义，最终揭示numa_node是一个共享全局变量，类型为int，存储在.data..percpu段中。spring validator源码

       在percpu-defs.h中，numa_node被放置在ELF文件的.data..percpu段中，这些段在运行阶段即为段。接下来，我们返回raw_cpu_read方法。

       在percpu-defs.h中，我们继续跟进__pcpu_size_call_return方法，此方法根据per-cpu变量的大小生成回调函数。对于numa_node的int类型，最终拼接得到的是raw_cpu_read_4方法。

       在percpu.h中，调用了一般的read方法。在percpu.h中，获取numa_node的绝对地址，并通过raw_cpu_ptr方法。

       在percpu-defs.h中，我们略过验证指针的环节，追踪arch_raw_cpu_ptr方法。接下来，我们来看x架构的实现。

       在percpu.h中，使用汇编获取this_cpu_off的地址，代表此CPU内存副本到".data..percpu"的偏移量。加上numa_node相对于原始内存副本的偏移量，最终通过解引用获得真正内存地址内的值。

       对于其他架构，实现方式相似，通过获取自己CPU的偏移量，最终通过相对偏移得到pcp变量的地址。

       放入数据

       讨论Linux内核启动过程时，我们不得不关注per-cpu的值是如何被放入的。

       在main.c中，我们以x实现为例进行分析。通过setup_percpu.c文件中的代码，我们将node值赋给每个CPU的numa_node地址处。具体计算方法通过early_cpu_to_node实现，此处不作展开。

       在percpu-defs.h中，我们来看看如何获取每个CPU的numa_node地址，最终还是通过简单的偏移获取。需要注意如何获取每个CPU的副本偏移地址。

       在percpu.h中，我们发现一个关键数组__per_cpu_offset，其中保存了每个CPU副本的金色阶梯源码偏移值，通过CPU的索引来查找。

       接下来，我们来设计PER CPU模块。

       设计一个全面的PER CPU架构，它支持UMA或NUMA架构。我们设计了一个包含NUMA节点的结构体，内部管理所有CPU。为每个CPU创建副本，其中存储所有per-cpu变量。静态数据在编译时放入原始数据段，动态数据在运行时生成。

       最后，我们回到setup_per_cpu_areas方法的分析。在setup_percpu.c中，我们详细探讨了关键方法pcpu_embed_first_chunk。此方法管理group、unit、静态、保留、动态区域。

       通过percpu.c中的关键变量__per_cpu_load和vmlinux.lds.S的链接脚本，我们了解了per-cpu加载时的地址符号。PERCPU_INPUT宏定义了静态原始数据的起始和结束符号。

       接下来，我们关注如何分配per-cpu元数据信息pcpu_alloc_info。percpu.c中的方法执行后，元数据分配如下图所示。

       接着，我们分析pcpu_alloc_alloc_info的方法，完成元数据分配。

       在pcpu_setup_first_chunk方法中，我们看到分配的smap和dmap在后期将通过slab再次分配。

       在main.c的mm_init中，我们关注重点区域，完成map数组的slab分配。

       至此，我们探讨了Linux内核中per-cpu实现的原理，从设计到源码分析，全面展现了这一关键机制在现代服务器架构中的作用。

linux系统调用之write源码解析（基于linux0.）

       Linux系统的write函数在底层操作上与read函数有相似之处。本文主要关注一般文件的写操作，我们首先从入口函数开始解析。

       进入file_write函数，它的核心逻辑是根据文件inode中的信息，确定要写入的硬盘位置，即块号。如果目标块已存在，就直接返回块号；若不存在，则需要创建新的块。这个过程涉及到bmap函数，它负责根据文件系统状态为新块申请空间并标记为已使用。

       创建新块的过程涉及到文件系统的超级块，通过检查当前块的使用情况，申请一个空闲块，并更新超级块以标记其为已使用。接着，超级块信息会被写回到硬盘，同时返回新建的块号。

       回到file_write，处理完块的逻辑后，由于是新创建的块，其内容默认为0。这时，bread函数会读取新块的内容，这部分逻辑可以参考read函数的分析。读取后，用户数据会被写入buffer，同时标记为待写回（脏）状态。重要的是，数据实际上并未立即写入硬盘，而是先存储在缓存中。系统会通过后台线程定期将缓存中的内容刷新到硬盘。

Linux内核源码分析：Linux内核版本号和源码目录结构

       Linux内核版本和源码目录结构对于理解其内部设计至关重要。内核分为稳定版和开发版，版本号由主版本、次版本和修订版本组成，次版本号用于区分两者。内核代码分散在庞大的源码中，组织在个C文件和若干个特定目录下。

       Linux源码的根目录下，首先是arch目录，负责屏蔽不同体系结构间的差异，如虚拟地址翻译函数switch_mm。block目录存放通用的块设备驱动程序，如硬盘和U盘的读写操作。驱动程序通常在drivers目录，但块设备驱动被独立出来，因为它们的读写逻辑通用。certs目录用于存储认证和签名相关的代码，保障系统安全。

       内核模块是Linux 2.2版本后引入的概念，以.so文件形式独立，根据需要动态加载，带来灵活性但也增加了安全风险。crypto目录包含加密和压缩算法，保障数据安全。Documentation目录提供内核模块的文档和规范，drivers目录存放硬件驱动，fs目录处理文件系统，init目录负责内核初始化，ipc目录负责进程间通信，kernel目录包含核心功能代码，lib目录是内核的库函数集，mm目录负责内存管理，net目录处理网络协议，samples目录包含示例代码，scripts目录是编译和调试工具，security目录负责安全机制，sound目录负责音频处理，tools目录包含开发工具，usr目录是用户打包，virt目录关注虚拟化，LICENSE目录则记录了许可证信息。

       除了目录，源码中还有COPYING（版权声明）、CREDIT（贡献者名单）、Kbuild（构建配置）、MAINTAINERS（维护者信息）、Makefile（编译指令）和README（基本信息）等文件，它们分别提供了内核使用、贡献者认可、构建指导和基本介绍。这些组织结构使得Linux内核源码易于理解和维护。

从Linux内核源码的角度深入解释进程（图例解析）

       进程，作为操作系统的基本概念，是程序执行过程的体现，自计算机诞生以来，其工作原理沿用冯诺依曼架构。从代码编译生成的可执行文件在特定环境中加载到内存，便构成了一个执行中的进程。进程的生命周期涉及启动、状态转换、执行和退出等阶段。在Linux中，进程的创建始于fork调用，通过复制当前进程生成新进程，接着通过exec初始化新进程地址空间，进入就绪状态等待调度。

       进程在操作系统中被抽象为task_struct，这个庞大的结构体，即进程描述符，记录了进程的全部属性和操作，包括进程ID(pid)和状态。查看进程ID和父进程ID可以通过特定命令。状态字段通过long类型表示，其他细节可以通过源码深入探究。

       创建进程涉及fork和copy_process函数，fork仅复制轻量级信息，使用写时复制技术避免数据冲突。fork后的子进程在必要时通过exec开始独立执行。在Linux中，线程和进程本质上是相同的，区别在于资源的共享程度。

       进程调度采用抢占式策略，如CFS（完全公平调度）通过虚拟运行时来实现公平调度，通过时间记账和红黑树组织队列来高效选择进程。进程退出时，会清理资源并可能转化为孤儿进程，由特定进程接管。理解这些原理有助于深入理解Linux内核对进程的管理机制。

Linux内核源码解析---cgroup实现之整体架构与初始化

       cgroup在年由Google工程师开发，于年被融入Linux 2.6.内核。它旨在管理不同进程组，监控一组进程的行为和资源分配，是Docker和Kubernetes的基石，同时也被高版本内核中的LXC技术所使用。本文基于最早融入内核中的代码进行深入分析。

       理解cgroup的核心，首先需要掌握其内部的常用术语，如子系统、层级、cgroupfs_root、cgroup、css_set、cgroup_subsys_state、cg_cgroup_link等。子系统负责控制不同进程的行为，例如CPU子系统可以控制一组进程在CPU上执行的时间占比。层级在内核中表示为cgroupfs_root，一个层级控制一批进程，层级内部绑定一个或多个子系统，每个进程只能在一个层级中存在，但一个进程可以被多个层级管理。cgroup以树形结构组织，每一棵树对应一个层级，层级内部可以关联一个或多个子系统。

       每个层级内部包含的节点代表一个cgroup，进程结构体内部包含一个css_set，用于找到控制该进程的所有cgroup，多个进程可以共用一个css_set。cgroup_subsys_state用于保存一系列子系统，数组中的每一个元素都是cgroup_subsys_state。cg_cgroup_link收集不同层级的cgroup和css_set，通过该结构可以找到与之关联的进程。

       了解了这些概念后，可以进一步探索cgroup内部用于结构转换的函数，如task_subsys_state、find_existing_css_set等，这些函数帮助理解cgroup的内部运作。此外，cgroup_init_early和cgroup_init函数是初始化cgroup的关键步骤，它们负责初始化rootnode和子系统的数组，为cgroup的使用做准备。

       最后，需要明确Linux内一切皆文件，cgroup基于VFS实现。内核启动时进行初始化，以确保系统能够正确管理进程资源。cgroup的初始化过程分为早期初始化和常规初始化，其中早期初始化用于准备cpuset和CPU子系统，确保它们在系统运行时能够正常工作。通过这些步骤，我们可以深入理解cgroup如何在Linux内核中实现资源管理和进程控制。

[源码级解析] 巧妙解决并深度分析Linux下rm命令提示参数列表过长的问题

       在处理大型文件夹清理任务时，发现使用Linux下rm命令清理包含数百万文件的目录时，会遇到“参数列表过长”的提示问题。经过一系列的试验与深入研究内核源码，最终找到了巧妙的解决方案，并理解了Linux Shell的一些有趣特性。以下内容是对这一问题的详细解析与解决办法的记录。

       最初，以为是rm命令对文件数量有特定限制，但尝试执行其他命令如ls和touch时也遇到相同问题，暗示问题可能与Shell的通配符使用有关。于是，通过管道功能，成功完成了清理任务。随后，通过使用find命令列出所有文件，并发现文件名格式包含日期和时间信息，导致在使用rm命令时，文件名被不当分割。为了解决这一问题，引入了-print0与-0参数，这样可以区分空格与分界符，正确解析包含空格的文件名。

       吸取教训后，使用find命令配合-1参数，避免了递归操作，确保只删除文件而不删除目录，成功解决了第二次处理大量文件时的问题。紧接着，开始探索通配符长度限制的来源。通过实验，发现限制与Bash无关，而是Shell执行命令的本质。进一步研究得知，Shell执行命令的过程涉及exec()类系统调用，且限制可能源自系统调用，而非Shell自身。深入分析源码后发现，最大参数长度限制为ARG_MAX，且其大小为栈空间的1/4。通过调整栈空间大小，可以增加允许的最大参数数量，从而解决“参数列表过长”的问题。

       这一限制在许多现代操作系统中存在，不仅影响了Linux环境，也见于MacOS和Windows等系统。通过理解和调整相关配置，能够有效解决处理大型文件夹清理任务时遇到的“参数列表过长”问题，提升系统管理的效率与灵活性。