1.源码细读-深入了解terser-webpack-plugin的源码实现
2.skynet源码结构、启动流程以及多线程工作原理
3.Pistache源码分析 —— Transport类
4.Linux内核 kthread_worker 和 kthread_work 机制
5.Netty源码解析 -- FastThreadLocal与HashedWheelTimer
6.深入理解 RxJava2：Scheduler（2）

源码细读-深入了解terser-webpack-plugin的分析实现

       深入探索 terser-webpack-plugin：代码压缩与优化的秘密</

       terser-webpack-plugin 是一款强大的 webpack 插件，它巧妙地融合了 terser 库的源码功能，旨在为你的分析 JavaScript 代码带来高效且优雅的压缩体验。要开始使用，源码只需参考官方文档中关于 minify-options</的分析指南针主要图指标公式源码配置指导。这款插件在 webpack 的源码 compilation 阶段大展身手，通过 optimizeChunkAssets</钩子实现了异步的分析代码优化，核心逻辑则隐藏在了名为 optimise</的源码神秘函数中。

       优化艺术</

       在 optimise</函数的分析舞台，一场资源名的源码魔术表演正在上演。它首先从 compilation 中获取资源，分析接着根据 availableNumberOfCores</动态决定是源码否启用并行模式，创建适当的分析 Worker</。在这里，源码pLimit</起到了关键作用，它巧妙地控制并发任务的数量，确保效率与稳定性并存。紧接着，遍历每一个 assetNames，一个个任务被 scheduleTask 准备就绪，等待着执行。

       任务分解</

       而每个任务的核心 scheduleTask，就像拆解谜题一般，包含着获取 asset 信息、代码检查、minify 的选择（Worker 或主线程）、新代码生成和缓存更新，以及对资产内容的即时更新。整个过程紧凑而有序，以资源处理和并发控制为核心。

       并行力量</

       terser-webpack-plugin 的亮点之一就是其 parallel</功能，能根据你的计算机 CPU 核心数动态启动 worker，巧妙地利用了 jest-worker 线程池，优先选择高性能的 worker_threads 模式。它通过私有任务队列和先进先出 (FIFO) 管理机制，确保了多进程处理的高效性和一致性。

       代码简化与压缩</

       minify 函数的精妙之处在于，它直接调用 terser 库的强大功能，略过不必要的 comments 处理，通过出口 API 实现代码的高效压缩。这个过程既简洁又高效，确保了代码质量的提升。

       全面优化流程</

       terser-webpack-plugin 的优化流程井然有序：异步注册 optimizeChunkAssets</，开启多线程编译（Worker），并在 minify 阶段，利用 terser 的强大压缩能力对代码进行深度处理。而 v4 版本更是增添了异步优化点，让并行处理更加灵活和高效。

skynet源码结构、启动流程以及多线程工作原理

       本文主要介绍skynet源码目录结构、启动流程以及其多线程工作原理。

       1、skynet目录结构

       只允许上层调用下层，qq客服代码源码而下层不能直接调用上层的api，这样做层次清晰。

       2、skynet启动流程

       启动skynet方式：终端输入./skynet exmaple/config

       启动入口函数为skynet_main.c/main, config作为args[1]参数传入

       调用skynet_start.c/skynet_start函数

       3、skynet多线程工作原理

       线程创建工作由skynet_start.c/start完成，主要有以下四类线程：

       1、moniter线程

       初始化该线程的key对应的私有数据块

       每5s对所有工作线程进行一次检测

       调用skynet_monitor_check函数检测线程是否有卡住在某条消息处理

       2、timer定时器线程

       每隔微秒刷新计时、唤醒等待条件触发的工作线程并检查是否有终端关闭的信号，如果有则打开log文件，将log输出至文件中，在刷新计时中会对每个时刻的链表进行相应的处理.

       3、socket套接字线程

       处理所有的套接字上的事件，该线程确保所有的工作线程中至少有一条工作线程是处于运行状态的，以便可以处理套接字上的事件。

       4、worker工作线程

       从全局队列中取出服务队列对其消息进行处理，其运行函数thread_worker的工作原理：首先初始化该线程的key对应的私有数据块，然后从全局队列中取出服务队列对其消息进行处理，最后当全局队列中没有服务队列信息时进入等待状态，等待定时器线程或套接字线程触发条件。

       4、skynet消息处理如何保证线程安全？

       以上介绍了skynet源码中的目录结构以及各部分功能，接着介绍了skynet的启动流程，最后介绍了skynet的多个线程是如何进行协同工作的。

Pistache源码分析 —— Transport类

       Transport类是Reactor架构中的关键组件，它为worker线程提供了一系列接口，负责处理核心功能，如等待HTTP请求并调用用户自定义的Handler。简单来说，如果Handler对应HTTP协议，那么Transport相当于TCP协议，这是其名称的由来。

       Transport类继承自Aio::Handler类，该基类定义了两个虚函数。Transport类内部还包含了一系列成员变量和成员函数，共同构成其功能。

       成员变量包括：PollableQueue、处理新连接、处理HTTP请求、异步写机制、线程资源统计、定时机制和断开连接等。

       Aio::Handler类主要定义了两个虚函数，具体功能与Transport类的成员函数相对应，如处理新连接、处理HTTP请求、异步写机制等。

       处理新连接：这部分功能在初始化和请求处理阶段实现，具体操作可参考源码分析文章。

       处理HTTP请求：处理请求是核心功能，文章中详细描述了这一过程，包括请求处理的手机java源码下载具体实现。

       异步写机制：这部分功能通过rusage和timerfd机制实现，可参考相关Linux手册了解具体实现。

       线程资源统计：这部分功能用于统计线程资源，确保程序高效运行。

       定时机制：通过timerfd_create(2)和getrusage(2)实现定时任务，这部分功能需要深入理解Linux相关手册。

       断开连接：提供了断开连接的功能，确保连接资源的合理管理。

       重载父类：实现父类的重载，扩展或修改基类的功能。

       其他：Transport类还包含了其他功能，这些功能可能涉及数据处理、状态管理等，具体细节需查阅源代码。

Linux内核 kthread_worker 和 kthread_work 机制

       探究 Linux 内核中的 kthread_worker 和 kthread_work 机制，始于我在研究最新版 Linux Spi 驱动时对这部分工作流程的深入了解。kthread_worker 和 kthread_work 实际上是内核线程管理和使用的一种方式，与 work_struct 和 workqueue_struct 机制类似。接下来，让我们从数据结构、使用方式，以及具体实现入手，对 kthread_worker 和 kthread_work 进行深入分析。

       1、数据结构

       定义 kthread_worker 和 kthread_work 的数据结构位于 include/linux/kthread.h 中。观察结构体定义，可以看出它们之间的紧密联系。

       2、使用方式

       kthread_worker 作为核心组件，理解其使用方法至关重要。首先，定义并初始化 kthread_worker。接着，为 kthread_worker 创建一个内核线程，用于处理工作。

       2.1 准备 kthread_worker

       定义 kthread_worker 并初始化它。注意，初始化完成后，需要为 kthread_worker 创建一个内核线程。

       2.2 准备 kthread_work

       定义 kthread_work 并初始化。为它指定工作函数。

       2.3 启动工作

       准备好了 worker 和 work 后，如有工作需要处理，将工作挂接到 worker 上。

       2.4 执行指定 worker 上的所有工作

       将指定 worker 上的所有工作全部执行。

       2.5 停止当前线程

       了解 Linux 内核源码学习资源。

       3、实现源码

       分析源码的步骤如下：

       3.1 kthread_init_worker

       初始化 kthread_worker。设置成员变量为零，并初始化工作列表。

       3.2 执行线程 kthread_worker_fn

       定义并初始化 kthread_worker 后，调用 kthread_worker_fn 函数，传入 worker 指针。python源码运行流程代码逻辑简单，主要涉及状态设置、工作执行等。

       3.3 kthread_init_work

       清零 kthread_work 类型的工作，并初始化链表元素，最后挂接工作执行函数的指针。

       3.4 kthread_queue_work

       将初始化完成的 kthread_worker 和 kthread_work 推进执行。调用 kthread_insert_work 将工作添加至列表中，唤醒沉睡的执行线程。

       4、总结

       kthread_worker 和 kthread_work 机制为 Linux Kernel 提供了一种高效管理内核线程的手段。它们使得驱动等模块开发者能够简便地实现内核线程的使用。

Netty源码解析 -- FastThreadLocal与HashedWheelTimer

       Netty源码分析系列文章接近尾声，本文深入解析FastThreadLocal与HashedWheelTimer。基于Netty 4.1.版本。

       FastThreadLocal简介：

       FastThreadLocal与FastThreadLocalThread协同工作。FastThreadLocalThread继承自Thread类，内部封装一个InternalThreadLocalMap，该map只能用于当前线程，存放了所有FastThreadLocal对应的值。每个FastThreadLocal拥有一个index，用于定位InternalThreadLocalMap中的值。获取值时，首先检查当前线程是否为FastThreadLocalThread，如果不是，则从UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取InternalThreadLocalMap，这实际上回退到使用ThreadLocal。

       FastThreadLocal获取值步骤：

       #1 获取当前线程的InternalThreadLocalMap，如果是FastThreadLocalThread则直接获取，否则通过UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取。

       #2 通过每个FastThreadLocal的index，获取InternalThreadLocalMap中的值。

       #3 若找不到值，则调用initialize方法构建新对象。

       FastThreadLocal特点：

       FastThreadLocal无需使用hash算法，通过下标直接获取值，复杂度为log(1)，性能非常高效。

       HashedWheelTimer介绍：

       HashedWheelTimer是Netty提供的时间轮调度器，用于高效管理各种延时任务。时间轮是一种批量化任务调度模型，能够充分利用线程资源。简单说，就是将任务按照时间间隔存放在环形队列中，执行线程定时执行队列中的任务。

       例如，环形队列有个格子，执行线程每秒移动一个格子，则每轮可存放1分钟内的任务。任务执行逻辑如下：给定两个任务task1（秒后执行）、task2（2分秒后执行），当前执行线程位于第6格子。那么，小纸片弹窗源码task1将放到+6=格，轮数为0；task2放到+6=格，轮数为2。执行线程将执行当前格子轮数为0的任务，并将其他任务轮数减1。

       HashedWheelTimer的缺点：

       时间轮调度器的时间精度受限于执行线程的移动速度。例如，每秒移动一个格子，则调度精度小于一秒的任务无法准时调用。

       HashedWheelTimer关键字段：

       添加延迟任务时，使用HashedWheelTimer#newTimeout方法，如果HashedWheelTimer未启动，则启动HashedWheelTimer。启动后，构建HashedWheelTimeout并添加到timeouts集合。

       HashedWheelTimer运行流程：

       启动后阻塞HashedWheelTimer线程，直到Worker线程启动完成。计算下一格子开始执行的时间，然后睡眠到下次格子开始执行时间。获取tick对应的格子索引，处理已到期任务，移动到下一个格子。当HashedWheelTimer停止时，取消任务并停止时间轮。

       HashedWheelTimer性能比较：

       HashedWheelTimer新增任务复杂度为O(1)，优于使用堆维护任务的ScheduledExecutorService，适合处理大量任务。然而，当任务较少或无任务时，HashedWheelTimer的执行线程需要不断移动，造成性能消耗。另外，使用同一个线程调用和执行任务，某些任务执行时间过久会影响后续任务执行。为避免这种情况，可在任务中使用额外线程执行逻辑。如果任务过多，可能导致任务长期滞留在timeouts中而不能及时执行。

       本文深入剖析FastThreadLocal与HashedWheelTimer的实现细节，旨在提供全面的技术洞察与实战经验。希望对您理解Netty源码与时间轮调度器有帮助。关注微信公众号，获取更多Netty源码解析与技术分享。

深入理解 RxJava2：Scheduler（2）

       欢迎来到深入理解 RxJava2 系列第二篇，本文基于 RxJava 2.2.0 正式版源码，将探讨 Scheduler 与 Worker 的概念及其实现原理。

       Scheduler 与 Worker 在 RxJava2 中扮演着至关重要的角色，它们是线程调度的核心与基石。虽然 Scheduler 的作用较为熟悉，但 Worker 的概念了解的人可能较少。为何在已有 Scheduler 的情况下，还要引入 Worker 的概念呢？让我们继续探讨。

       首先，Scheduler 的核心定义是调度 Runnable，支持立即、延时和周期性调用。而 Worker 是任务的最小单元的载体。在 RxJava2 内部实现中，通常一个或多个 Worker 对应一个 ScheduledThreadPoolExecutor 对象，这里暂不深入探讨。

       在 RxJava 1.x 中，Scheduler 没有 scheduleDirect/schedulePeriodicallyDirect 方法，只能先创建 Worker，再通过 Worker 来调度任务。这些方法是对 Worker 调度的简化，可以理解为创建一个只能调度一次任务的 Worker 并立即调度该任务。在 Scheduler 基类的源码中，默认实现是直接创建 Worker 并创建对应的 Task（虽然在部分 Scheduler 的覆盖实现上并没有创建 Worker，但可以认为存在虚拟的 Worker）。

       一个 Scheduler 可以创建多个 Worker，这两者是一对多的关系，而 Worker 与 Task 也是一对多的关系。Worker 的存在旨在确保两件事：统一调度 Runnable 和统一取消任务。例如，在 observeOn 操作符中，可以通过 Worker 来统一调度和取消一系列的 Runnable。

       RxJava2 默认内置了多种 Scheduler 实现，适用于不同场景，这些 Scheduler 都可以在 Schedulers 类中直接获得。以下是两个常用 Scheduler 的源码分析：computation 和 io。

       NewThreadWorker 在 computation、io 和 newThread 中都有涉及，下面简单了解一下这个类。NewThreadWorker 与 ScheduledThreadPoolExecutor 之间是一对一的关系，在构造函数中通过工厂方法创建一个 corePoolSize 为 1 的 ScheduledThreadPoolExecutor 对象并持有。

       ScheduledThreadPoolExecutor 从 JDK1.5 开始存在，这个类继承于 ThreadPoolExecutor，支持立即、延时和周期性任务。但是注意，在 ScheduledThreadPoolExecutor 中，maximumPoolSize 参数是无效的，corePoolSize 表示最大线程数，且它的队列是无界的。这里不再深入探讨该类，否则会涉及太多内容。

       有了这个类，RxJava2 在实现 Worker 时就站在了巨人的肩膀上，线程调度可以直接使用该类解决，唯一的麻烦之处就是封装一层 Disposable 的逻辑。

       ComputationScheduler 是计算密集型的 Scheduler，其线程数与 CPU 核心数密切相关。当线程数远超过 CPU 核心数目时，CPU 的时间更多地损耗在了线程的上下文切换。因此，保持最大线程数与 CPU 核心数一致是比较通用的方式。

       FixedSchedulerPool 可以看作是固定数量的真正 Worker 的缓存池。确定了 MAX_THREADS 后，在 ComputationScheduler 的构造函数中会创建 FixedSchedulerPool 对象，FixedSchedulerPool 内部会直接创建一个长度为 MAX_THREADS 的 PoolWorker 数组。PoolWorker 继承自 NewThreadWorker，但没有任何额外的代码。

       PoolWorker 的使用方法是从池子里取一个 PoolWorker 并返回。但是需要注意，每个 Worker 是独立的，每个 Worker 内部的任务是绑定在这个 Worker 中的。如果按照上述方法暴露 PoolWorker，会出现两个问题：

       为了解决上述问题，需要在 PoolWorker 外再包一层 EventLoopWorker。EventLoopWorker 是一个代理对象，它会将 Runnable 代理给 FixedSchedulerPool 中取到的 PoolWorker 来调度，并负责管理通过它创建的任务。当自身被取消时，会将创建的任务全部取消。

       与 ComputationScheduler 恰恰相反，IoScheduler 的线程数是无上限的。这是因为 IO 设备的速度远低于 CPU 速度，在等待 IO 操作时，CPU 往往是闲置的。因此，应该创建更多的线程让 CPU 尽可能地利用。当然，并不是线程越多越好，线程数目膨胀到一定程度会影响 CPU 的效率，也会消耗大量的内存。在 IoScheduler 中，每个 Worker 在空置一段时间后就会被清除以控制线程的数目。

       CachedWorkerPool 是一个变长并定期清理的 ThreadWorker 的缓存池，内部通过一个 ConcurrentLinkedQueue 维护。和 PoolWorker 类似，ThreadWorker 也是继承自 NewThreadWorker。仅仅是增加了一个 expirationTime 字段，用来标识这个 ThreadWorker 的超时时间。

       在 CachedWorkerPool 初始化时，会传入 Worker 的超时时间，目前是写死的 秒。这个超时时间表示 ThreadWorker 闲置后最大存活时间（实际中不保证 秒时被回收）。

       IoScheduler 中也存在一个 EventLoopWorker 类，它和 ComputationScheduler 中的作用类似。因为 CachedWorkerPool 是每隔 秒清理一次队列的，所以 ThreadWorker 的存活时间取决于入队的时机。如果一直没有被再次取出，其被实际清理的延迟在 - 秒之间。

       熟悉线程的读者会发现，ComputationScheduler 与 IoScheduler 很像某些参数下的 ThreadPoolExecutor。它们对线程的控制外在表现很相似，但实际的线程执行对象不一样。这两者的对比有助于我们更深刻地理解 Scheduler 设计的内在逻辑。

       Scheduler 是 RxJava 线程的核心概念，RxJava 基于此屏蔽了 Thread 相关的概念，只与 Scheduler/Worker/Runnable 打交道。

       本来计划继续基于 Scheduler 和大家一起探讨 subscribeOn 与 observeOn，但考虑到篇幅问题，这些留待下篇分享。

       感谢大家的阅读，欢迎关注笔者的公众号，可以第一时间获取更新，同时欢迎留言沟通。

死磕以太坊源码分析之挖矿流程

       以太坊的挖矿流程主要由miner包负责，它通过miner对象来管理操作，内部使用worker对象实现整体功能。miner决定矿工的启动与停止，并能设置矿工地址以获取奖励。

       worker.go文件中的worker对象负责挖矿的细节，其工作流程包含四个主要循环，通过多个channel完成任务调度、新任务提交、任务结果处理等。

       新任务由newWorkLoop循环产生，此过程中，resubmitAdjustCh与resubmitIntervalCh两个辅助信号用于调整计时器的频率，resubmitAdjustCh根据历史情况计算合理的间隔时间，而resubmitIntervalCh则允许外部实时修改间隔时间。

       mainLoop循环则负责提交新任务并处理结果。TaskLoop提交任务，resultLoop则在新块成功生成后执行相关操作。

       启动挖矿的参数设置定义在cmd/utils/flags.go文件中，提供了一系列选项，如开启自动挖矿、设置并行PoW计算的协程数、配置挖矿通知、控制区块验证、设置Gas价格、确定Gas上限、指定挖矿奖励账户、自定义区块头额外数据、设置重新挖矿间隔等。

       可以采用多种方式启动挖矿，例如通过控制台命令、RPC接口等。设置参数时，可参考官方文档或相关指南进行调整。

       分析代码从miner.go的New函数开始，初始化canStart状态以控制挖矿流程。若Downloader模块正在同步或已完成，则启动挖矿，否则停止。随后进入mainLoop处理startCh，清除旧任务、提交新任务。

       生成新任务通过newWorkCh完成，进入CommitNewWork函数，其中包含组装header、初始化共识字段、创建挖矿环境、添加叔块等步骤。添加叔块时进行校验，确保区块符合规定。若条件允许，任务会提交空块、填充交易，并执行交易以生成最终块。

       交易执行成功后，块数据被存入数据库，并广播至网络。若执行出错，则回滚至上一个快照状态。成功出块后，新区块被验证、确认，并纳入未确认区块集中。若新区块稳定，将正式插入链中。

       整个挖矿流程相对简单，主要由四个循环相互协作完成从挖矿启动到新任务生成、任务提交、成功出块的全过程。共识处理细节将在后续文章中详细阐述。

nginx源码分析--master和worker进程模型

       一、Nginx整体架构

       正常执行中的nginx会有多个进程，其中最基本的是master process（主进程）和worker process（工作进程），还可能包括cache相关进程。

       二、核心进程模型

       启动nginx的主进程将充当监控进程，主进程通过fork()产生的子进程则充当工作进程。

       Nginx也支持单进程模型，此时主进程即是工作进程，不包含监控进程。

       核心进程模型框图如下：

       master进程

       监控进程作为整个进程组与用户的交互接口，负责监护进程，不处理网络事件，不负责业务执行，仅通过管理worker进程实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。

       master进程通过sigsuspend()函数调用大部分时间处于挂起状态，直到接收到信号。

       master进程通过检查7个标志位来决定ngx_master_process_cycle方法的运行：

       sig_atomic_t ngx_reap;

       sig_atomic_t ngx_terminate;

       sig_atomic_t ngx_quit;

       sig_atomic_t ngx_reconfigure;

       sig_atomic_t ngx_reopen;

       sig_atomic_t ngx_change_binary;

       sig_atomic_t ngx_noaccept;

       进程中接收到的信号对Nginx框架的意义：

       还有一个标志位：ngx_restart，仅在master工作流程中作为标志位使用，与信号无关。

       核心代码（ngx_process_cycle.c）：

       ngx_start_worker_processes函数：

       worker进程

       worker进程主要负责具体任务逻辑，主要关注与客户端或后端真实服务器之间的数据可读/可写等I/O交互事件，因此工作进程的阻塞点在select()、epoll_wait()等I/O多路复用函数调用处，等待数据可读/写事件。也可能被新收到的进程信号中断。

       master进程如何通知worker进程进行某些工作？采用的是信号。

       当收到信号时，信号处理函数ngx_signal_handler()会执行。

       对于worker进程的工作方法ngx_worker_process_cycle，它主要关注4个全局标志位：

       sig_atomic_t ngx_terminate;//强制关闭进程

       sig_atomic_t ngx_quit;//优雅地关闭进程（有唯一一段代码会设置它，就是接受到QUIT信号。ngx_quit只有在首次设置为1时，才会将ngx_exiting置为1）

       ngx_uint_t ngx_exiting;//退出进程标志位

       sig_atomic_t ngx_reopen;//重新打开所有文件

       其中ngx_terminate、ngx_quit、ngx_reopen都将由ngx_signal_handler根据接收到的信号来设置。ngx_exiting标志位仅由ngx_worker_cycle方法在退出时作为标志位使用。

       核心代码（ngx_process_cycle.c）：

一文读懂，硬核 Apache DolphinScheduler3.0 源码解析

       这篇文章深入解析了硬核Apache DolphinScheduler 3.0的源码设计和策略，让我们一窥其背后的分布式系统架构和容错机制。首先，DolphinScheduler采用去中心化设计，通过Master/Worker角色注册到Zookeeper，实现无中心的集群管理。API接口提供丰富的调度操作，MasterServer负责任务分发和监控，而WorkerServer负责任务执行和日志服务。

       容错机制是系统的关键，包括服务宕机容错和任务重试。服务宕机时，MasterServer通过ZooKeeper的Watcher机制进行容错处理，重新提交任务。任务失败则会根据配置进行重试，直至达到最大次数或成功。远程日志访问通过RPC实现，保持系统的轻量化特性。

       源码分析部分详细介绍了工程模块、配置文件、API接口以及Quartz框架的运用。Master的启动流程涉及Quartz的调度逻辑，Worker则负责执行任务并接收Master的命令。Master与Worker之间通过Netty进行RPC通信，实现了负载均衡和任务分发。

       加入社区讨论，作者鼓励大家参与DolphinScheduler的开源社区，通过贡献代码、文档或提出问题来共同提升平台。无论是新手还是经验丰富的开发者，开源世界都欢迎你的参与，为中国的开源事业贡献力量。