皮皮网
皮皮网

【最新直播源整合源码】【仙人指路双马炮源码】【源码编辑器的函数】nginx源码复杂

时间:2024-12-27 16:45:23 来源:如何阅读系统源码

1.nginx源码分析--master和worker进程模型
2.Nginx源码导读:[3]Ngnix头文件处理
3.Nginx源码分析 - 主流程篇 - 多进程的码复惊群和进程负载均衡处理
4.Nginx源码阅读(五):启动前的准备
5.Nginx源码分析 - 主流程篇 - Nginx的启动流程
6.Nginx源码分析 - HTTP模块篇 - HTTP Request解析过程

nginx源码复杂

nginx源码分析--master和worker进程模型

       一、Nginx整体架构

       正常执行中的码复nginx会有多个进程,其中最基本的码复是master process(主进程)和worker process(工作进程),还可能包括cache相关进程。码复

       二、码复核心进程模型

       启动nginx的码复最新直播源整合源码主进程将充当监控进程,主进程通过fork()产生的码复子进程则充当工作进程。

       Nginx也支持单进程模型,码复此时主进程即是码复工作进程,不包含监控进程。码复

       核心进程模型框图如下:

       master进程

       监控进程作为整个进程组与用户的码复交互接口,负责监护进程,码复不处理网络事件,码复不负责业务执行,码复仅通过管理worker进程实现重启服务、码复平滑升级、更换日志文件、配置文件实时生效等功能。

       master进程通过sigsuspend()函数调用大部分时间处于挂起状态,直到接收到信号。

       master进程通过检查7个标志位来决定ngx_master_process_cycle方法的运行:

       sig_atomic_t ngx_reap;

       sig_atomic_t ngx_terminate;

       sig_atomic_t ngx_quit;

       sig_atomic_t ngx_reconfigure;

       sig_atomic_t ngx_reopen;

       sig_atomic_t ngx_change_binary;

       sig_atomic_t ngx_noaccept;

       进程中接收到的信号对Nginx框架的意义:

       还有一个标志位:ngx_restart,仅在master工作流程中作为标志位使用,与信号无关。

       核心代码(ngx_process_cycle.c):

       ngx_start_worker_processes函数:

       worker进程

       worker进程主要负责具体任务逻辑,主要关注与客户端或后端真实服务器之间的数据可读/可写等I/O交互事件,因此工作进程的阻塞点在select()、epoll_wait()等I/O多路复用函数调用处,等待数据可读/写事件。也可能被新收到的进程信号中断。

       master进程如何通知worker进程进行某些工作?采用的是信号。

       当收到信号时,信号处理函数ngx_signal_handler()会执行。仙人指路双马炮源码

       对于worker进程的工作方法ngx_worker_process_cycle,它主要关注4个全局标志位:

       sig_atomic_t ngx_terminate;//强制关闭进程

       sig_atomic_t ngx_quit;//优雅地关闭进程(有唯一一段代码会设置它,就是接受到QUIT信号。ngx_quit只有在首次设置为1时,才会将ngx_exiting置为1)

       ngx_uint_t ngx_exiting;//退出进程标志位

       sig_atomic_t ngx_reopen;//重新打开所有文件

       其中ngx_terminate、ngx_quit、ngx_reopen都将由ngx_signal_handler根据接收到的信号来设置。ngx_exiting标志位仅由ngx_worker_cycle方法在退出时作为标志位使用。

       核心代码(ngx_process_cycle.c):

Nginx源码导读:[3]Ngnix头文件处理

       这节主要讲一下nginx , 对头文件的包含 ,怎么处理多次包含的 ,其实也可以是小的C语言知识点

       在nginx中有很多头文件 ngx_core.h ngx_errno.h 等等, 并且他们很多相互包含了 ,大家可能会想那不是有重复定义了很多数据结构吗 ?

       回答是当然不是,还记得上一节中的头文件吗 ,在这我们也拿过来 , ngx_config.h : #ifndef _NGX_CONFIG_H_INCLUDED_ #define _NGX_CONFIG_H_INCLUDED_ #include "ngx_linux_config.h" typedef intptr_t    ngx_int_t; typedef uintptr_t    ngx_uint_t; typedef intptr_t    ngx_flag_t; #endif 发现了吗 , nginx开头都有 #ifndef XXXXX ,nginx就是用这个条件宏来去重的 ,如果第一次就会#define_NGX_CONFIG_H_INCLUDED_ ,以后某个文件在include这个头文件 ,#ifndef _NGX_CONFIG_H_INCLUDED_ 这个判断就是false了,直接就都#endif了

       #ifndef这个语法是预处理执行的 ,类似于方面里面的if语句 ,但是预处理不同的是 ,处理完了 ,不满足条件的 ,编译后是不存的 , 而if语句是会怎么的 ,是在运行时做的条件判断

Nginx源码分析 - 主流程篇 - 多进程的惊群和进程负载均衡处理

       在探讨Nginx源码分析时,我们关注的是多进程模式下的惊群现象及负载均衡处理。针对惊群现象,Linux2.6版本之后已优化解决。源码编辑器的函数

       惊群现象表示多个进程或线程争夺同一资源时,资源一可用,所有进程或线程都竞争,可能导致资源过度分配和数据混乱。Nginx采用多进程模式,每个进程监听socket accept事件。在Linux2.6版本前,多个进程同时监听同一客户端连接,引发惊群问题。

       Nginx通过核心函数 ngx_process_events_and_timers 实现惊群处理与负载均衡。负载均衡确保一个链接仅由Nginx的一个进程处理,包括accept和read/write事件。惊群处理方面,Nginx采用锁机制管理accept操作,避免同时多个进程尝试接受新连接。

       具体实现包括:

        ngx_process_events_and_timers:核心事件分发函数,处理事件、惊群管理及简单负载均衡。

        ngx_trylock_accept_mutex:获取accept锁,避免并发接受新连接。

        ngx_enable_accept_events & ngx_disable_accept_events:启用与禁用accept事件。

        ngx_event_process_posted:处理已挂起的accept、read事件。

        ngx_process_events:核心事件处理函数,主要关注epoll模型下的ngx_epoll_process_events方法。

       总结而言,Nginx通过精细管理并发操作与资源分配,有效避免惊群现象,并实现高效负载均衡,确保服务器稳定运行。通过源码分析,双龙排序优化指标源码我们深入理解了Nginx在多进程环境下的优化策略,包括事件分发、锁机制及核心函数的作用,为提升服务器性能提供了有力支持。

Nginx源码阅读(五):启动前的准备

       在 Nginx 启动前,一系列初始化流程和变量设定至关重要。这些准备工作确保 Nginx 正常运行,高效管理资源并优化性能。接下来,我们将分步骤详细介绍 Nginx 启动前的准备过程。

       1. ngx_os_init 获取系统级资源

       ngx_os_init 负责初始化操作系统级资源,将关键参数赋值给全局变量。这些参数包括页面大小、缓存行大小、最大套接字数等。

       系统级参数获取依赖于 sysconf 函数,它用于查询系统特定参数,如 CPU 核心数量、内存大小、进程打开的最大文件数等。

       _SC_NPROCESSORS_CONF

       返回 CPU 核心数量,包括不可用核心。

       _SC_NPROCESSORS_ONLN

       返回系统中可用的 CPU 核心数量。

       _SC_PAGESIZE

       表示系统页面大小(字节单位)。

       _SC_PHYS_PAGES

       表示系统物理内存页数。

       _SC_OPEN_MAX

       表示进程可以打开的最大文件数。

       _SC_GETPW_R_SIZE_MAX

       表示 getpwuid_r 函数使用的缓冲区大小限制。

       另一个关键函数 ngx_cpuinfo 用于获取 CPU 的 L2 缓存行大小。理解 CPU 缓存级别有助于优化 Nginx 性能。

       L1 缓存位于 CPU 核心内,是自动发弹幕源码 抖音最快的缓存层。

       L2 缓存在 CPU 芯片上,但比 L1 缓存距离核心更远。

       L3 缓存位于 CPU 外部,速度仅次于内存,但大小较大。

       不同 CPU 的缓存大小差异显著,如图所示。L1 和 L2 缓存通常在 CPU 核之间不共享,而 L3 缓存为所有核心共享。

       此外,getrlimit 和 setrlimit 函数用于查询和更改进程资源限制。rlimit 结构体参数用于指定资源限制,如最大句柄数,即最大可创建的套接字数量。

       2. ngx_crc_table_init 初始化 CRC 表

       此函数初始化循环冗余校验(CRC)表,确保计算效率。通过将指向校验表格的指针ngx_crc_table_short 对齐至缓存行大小,提高性能。

       CRC 是一种用于检测数据传输或保存错误的校验方法。生成的数字附加至数据后,接收端进行验证以确保数据未变。具体原理可参考网络资料。

       3. ngx_add_inherited_sockets 继承套接字

       在平滑升级场景下,ngx_add_inherited_sockets 用于继承原有监听套接字。通过环境变量 NGINX 获取套接字信息,将其加入 init_cycle 的 listening 数组。完成继承后,设置全局变量 ngx_inherited 为 1。

       此函数仅在平滑升级过程中使用,通常情况下无需执行。因此,我们不对该函数进行过多讨论。

Nginx源码分析 - 主流程篇 - Nginx的启动流程

       深入解析Nginx的核心,理解基础数据结构对源码解读至关重要。主流程的精髓隐藏在nginx.c的main()函数中,它启动的每一个步骤都如同乐谱上的一段旋律,优雅而有序。

       启动乐章

       首先,指挥棒落在ngx_get_options上,它如同乐团指挥,优雅地解析启动命令行参数。接着,ngx_time_initngx_getpidngx_log_init依次登场,为时间、进程标识和日志设置调音。它们共同完成了一次细致入微的初始化过程,为接下来的演出铺平道路。

       紧接着,ngx_init_cycle指挥全局变量的诞生,包括一致性哈希表的初始化,以及处理系统变量的微妙操作。随后,它引导我们进入一个关键环节:继承socket,初始化模块,设置信号处理,配置文件的获取和pid文件的创建,如同交响乐中的序曲,为后续的进程管理做准备。

       乐章高潮

       当进入ngx_master_process_cycle部分,主进程的魔法开始显现。它如魔术师般,通过创建子进程,让各个模块和事件监听开始各自的旋律。在这里,每个参数处理都如同精心编排的音符,确保演奏的和谐。

       关键步骤

       在ngx_get_options中,启动命令参数如-s stop/start/restart的解读,是理解Nginx行为的关键。而在幕后,ngx_save_argv负责存储这些参数,ngx_process_options则如同指挥家,将参数的魔力注入到ngx_cycle的结构中。

       特别关注的全局变量,如ngx_show_help、ngx_conf_file,它们是Nginx运行的调色板。ngx_save_argv和ngx_process_options如同调色师,精心调配每个参数的色彩。

       模块初始化的序曲

       ngx_preinit_modules是模块世界的序曲,它负责初始化配置路径、处理参数,以及配置文件的定位。在这里,每个动作都精确而有序,确保每个模块都能在正确的时间奏响属于自己的旋律。

       在ngx_module.c中,模块编号的分配和配置文件的处理,如同管弦乐队的编排,确保每个乐器都能和谐共奏。而创建PID文件的函数ngx_create_pidfile则如定音锤,为整个系统敲定最后的音符。

       每个重要模块,如ngx_add_inherited_sockets、ngx_init_cycle、ngx_signal_process和ngx_master_process_cycle,都在各自的角色中发挥着不可或缺的作用,共同编织出Nginx启动的华美乐章。

Nginx源码分析 - HTTP模块篇 - HTTP Request解析过程

       深入解析Nginx HTTP模块的HTTP Request解析过程,从ngx_http_wait_request_handler函数开始,直至解析完成。解析流程如下:

       首先,Nginx通过ngx_http_wait_request_handler等待HTTP请求数据,设计亮点在于其能连续等待TCP管道中的数据,直至触发read事件,且在未读取数据时自动清理buf内存,有效防止内存暴涨。

       接下来,ngx_http_process_request_line与ngx_http_read_request_header共同解析请求行与头部信息。其中,ngx_http_read_request_header使用系统的recv函数循环接收数据,通过回调函数os/ngx_recv完成。

       随后,ngx_http_process_request_headers负责解析HTTP头部数据,如Host与Accept-Language等。

       ngx_http_process_request设定了read和write的回调函数ngx_http_request_handler,通过状态机判断事件类型,调用HTTP模块的filter链,包括header和body链两部分。filter链中,ngx_http_request_handler根据事件状态调用相应的回调函数。

       解析过程中,ngx_http_run_posted_requests用于处理子请求,将请求链内容合并到主请求上,尽管此过程可能会稍降性能,因为需要重新走一遍write的回调函数ngx_http_core_run_phases。

       最后,解析过程的核心在于ngx_http_handler函数,该函数主要用于设置write事件回调函数,即ngx_http_core_run_phases。

       至此,完整的HTTP Request解析流程在Nginx的HTTP模块中得以清晰展现。

Nginx源码分析 - 主流程篇 - 全局变量cycle初始化

       Nginx的全局初始化过程围绕全局变量“cycle”展开,位于/src/core/cycle.c文件,其数据结构为“ngx_cycle_t”。了解Nginx源码前应掌握cycle全局变量初始化流程。

       cycle初始化分为以下步骤:

       创建内存池

       用于后续分配的所有内存。

       拷贝配置文件路径前缀

       如“/usr/local/nginx”,存储在cycle->conf_prefix中。

       复制Nginx路径前缀

       存储于cycle->prefix。

       复制配置文件信息

       包含文件路径,如“/nginx/conf/nginx.conf”。

       复制配置参数信息

       初始化路径信息

       初始化打开的文件句柄

       初始化shared_memory链表

       新旧链表比较,保留相同内存,释放不同。

       遍历并打开文件列表(如日志、配置文件)

       创建并初始化共享内存

       比较新旧共享内存,保留或创建。

       处理listening数组并开始监听

       处理socket监听。

       关闭或删除old_cycle资源

       关键点在于内存池的创建、配置文件解析、文件句柄与共享内存的初始化、socket监听与资源关闭,整个流程确保Nginx核心组件的初始化完成。

Nginx源码分析 - HTTP模块篇 - TCP连接建立过程

       Nginx源码分析 - HTTP模块篇 - TCP连接建立过程

       在上一章节中,我们已经了解了HTTP模块的初始化过程。本章节将深入剖析监听套接字的初始化函数以及Nginx连接的全程流程。

       首先, ngx_http_optimize_servers 是关键函数,它负责Nginx服务监听套接字的优化配置。这个函数在Nginx启动时,会初始化并优化服务器的侦听策略。

       紧接着, ngx_http_init_listening 和 ngx_http_add_listening 函数共同作用,创建和设置监听套接字(listening),为后续的网络连接做好准备。

       理解了Event模块的进程初始化后,结合 ngx_http_optimize_servers 的工作,我们可以构建出Nginx连接的完整流程图。这个流程涉及服务器的监听,客户端的请求,以及两者之间的TCP连接建立。

       让我们通过下面的流程概述来直观地理解:

       服务器通过 ngx_http_optimize_servers 函数设置监听套接字,等待客户端连接请求。

       当客户端发起连接时,Nginx通过 ngx_http_add_listening 创建新的TCP连接。

       通过Event模块的事件驱动,Nginx接收并处理客户端的HTTP请求,开始HTTP会话。

更多内容请点击【热点】专栏