皮皮网

1.PostgreSQL · 源码分析 · 回放分析（一）
2.Linux软件管理-YUM工具及源码包
3.mqttrocketmq?刷盘源码
4.一文深入了解Linux内核源码pdflush机制

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，刷盘源码如断电、刷盘源码崩溃。刷盘源码这些情况可能导致数据异常或丢失，刷盘源码影响业务。刷盘源码手机上怎么看软件源码数据为了在数据库重启时恢复到崩溃前状态，刷盘源码确保数据一致性和完整性，刷盘源码我们引入了WAL（Write-Ahead Logging）机制。刷盘源码WAL记录数据库事务执行过程，刷盘源码当数据库崩溃时，刷盘源码利用这些记录恢复至崩溃前状态。刷盘源码

       WAL通过REDO和UNDO日志实现崩溃恢复。刷盘源码REDO允许对数据进行修改，刷盘源码UNDO则撤销修改。刷盘源码REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。源码校平机检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，开源plc源码解析根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

Linux软件管理-YUM工具及源码包

       YUM基本概述

       yum是微擎部署源码RedHat及CentOS中的软件包管理器，提供自动解决依赖性关系、通过互联网下载以rpm结尾的包、安装软件包、简化命令等众多优势。具体来说，包含以下几点：

       联网获取软件

       基于RPM管理

       自动解决依赖

       命令简单好记

       遵循生产最佳实践

       YUM源的配置

       为了成功使用yum工具安装或更新软件或系统，需要配置一个包含各种rpm软件包的repository，称为yum源或yum仓库。该仓库可为本地或网络源。

       BASE源：各大镜像源，如阿里云、清华大学、、华为云、中国科学技术大学等。

       EPEL源：安装其他特定源，如nginx、zabbix、saltstack等。

       YUM实践案例

       使用yum工具时，可执行以下操作：

       查询软件包：使用yum search关键字

       安装软件包：使用yum install 软件包名称

       重装软件包：使用yum reinstall 软件包名称

       更新软件包：使用yum update 软件包名称

       删除软件包：使用yum remove 软件包名称

       YUM全局配置文件[扩展]

       YUM的配置方式包括全局配置文件（/etc/yum.conf）和子配置文件（/etc/yum.repos.d/目录下的所有.repo文件）。

       YUM签名检查机制[扩展]

       rpm软件在构建rpm包时使用redhat的私钥签名，客户端使用redhat提供的公钥验证rpm包的合法性。可通过指定公钥位置、提前导入公钥或选择不进行签名验证来实现。

       制作本地YUM仓库

       自行制作本地YUM仓库时，需了解配置文件参数含义。操作步骤包括挂载镜像、备份原有仓库、创建新仓库文件、罗源码头锦江刷新repos生成缓存等。

       构建企业级YUM仓库

       本地光盘提供基础软件包（Base）、yum缓存提供update软件包、常用软件包如nginx、zabbix、docker、saltstack等。环境准备涉及IP、角色、主机名、服务端yum仓库及客户端使用等。

       源码包概述

       源码包指的是未编译成可运行工具的程序源代码。学习源码包有助于自定义软件、定制功能、优先更新源码及实现自动化规范。

       优点：二次开发、定制功能、优先更新、自动化规范

       缺点：相较于yum安装复杂、耗时较长

       源码包获取

       常见软件源码包可在官方网站获取。

       源码包安装步骤

       解压tar、生成configure或cmake、编译、安装。

       源码包安装实战

       通过编译Nginx深入理解源码包安装过程。

       源码编译报错信息处理

       在安装源码包时遇到问题，需妥善处理报错信息，确保安装过程顺利。

       自定义RPM包并制作YUM仓库[扩展]

       可自行定制RPM包及制作YUM仓库，实现软件自定义安装与管理。

mqttrocketmq?

       RocketMQ作为国内流行的MQ，其在公司项目中的应用与研究对于理解MQ流程大有裨益。本文旨在解析一条消息从发送至存储的全过程，以辅助读者深入理解RocketMQ。分析内容聚焦于消息发送到存储的总体技术流程，包括代码中关于MQ文件系统优化、设计等关键点。

       首先，我们关注官方源码中的发送代码示例。`send`方法内设默认超时时间为3秒，采用默认同步模式，同时支持异步和单向模式。此方法需处理客户端异常、网络异常、Broker端异常以及线程中断异常。

       在`sendDefaultImpl`核心实现类中，`DefaultMQProducerImpl`的`sendDefaultImpl`方法承载发送的主要逻辑。值得注意的是，该类内部实现故障时间更新策略，通过`MQFaultStrategy`类处理MQ错误并进行服务降级。具体策略为：消息发送在毫秒内无需降级，超过毫秒则进行秒容错降级，以此类推。

       继续探讨`sendKernelImpl`核心方法，该方法在`DefaultMQProducerImpl`类中实现发送到内核的逻辑。方法首先确定Broker地址，并尝试压缩大于4M的消息（批量消息除外），同时执行各种消息处理钩子。消息生成时间（`bornTimestamp`）在此步骤中被设定，后续消息轨迹分析时，此时间点将提供重要信息。

       在默认同步模式下，`send`方法调用`MQClientAPIImpl`发送消息。在Client模块中，此层进一步设置消息详情，构建命令对象，并最终通过`remotingClient`的`invokeSync`方法发送消息。

       `MQClientAPIImpl`的`sendMessage`方法中，通过设置命令对象的`CmdCode`为`SEND_MESSAGE`，与Broker端建立契约关系。Netty模块中的`invokeSync`方法实现RPC发送，使用编码器和解码器处理消息数据的序列化与反序列化，并通过空闲处理器管理连接状态。

       Netty客户端处理返回值时，`NettyClientHandler`在`channelRead0`方法中调用`processMessageReceived`方法，此方法解析响应并唤醒阻塞发送线程。同时，执行`release`操作，限制最大异步请求数量至个。

       在Broker端，`SEND_MESSAGE Code`的使用表明了与Client的交互约定。`BrokerController`类注册`SEND_MESSAGE Code`与`SendMessageProcessor`对象的绑定关系，并将此绑定注册至Netty Server中，当Netty Server收到Cmd对象时，依据Cmd对象的Code找到对应处理器，处理数据。

       消息存储逻辑由`DefaultMessageStore`类的`putMessage`实现，消息通过PageCache写入，若锁文件时间超过1秒，则标记PageCache为忙。当耗时超过毫秒时，会记录耗时日志，便于问题排查。`commitLog.putMessage`方法最终调用数据写入代码，释放锁并记录耗时日志。

       刷盘与数据同步策略包括同步刷盘与异步刷盘，同步刷盘性能优于异步刷盘倍。使用SYNC模式的Slave数据同步受限于网络瓶颈，最高TPS仅约，原因在于内网延迟导致的同步效率低下。

       最后，`mappedFile.appendMessage`方法实现消息写入逻辑，通过MMap缓冲区对数据进行高效写入。`doAppend`方法中，处理消息总长度、魔数、CRC校验、队列ID、各种flag、存储时间、物理offset、存储IP、时间戳、扩展属性等信息，最终消息被写入MMap中。无新数据时，执行每毫秒一次的刷盘策略。

一文深入了解Linux内核源码pdflush机制

       在进程安全监控中，遇到进程长时间处于不可中断的睡眠状态（D状态，超过8分钟），可能导致系统崩溃。这种情况下，涉及到Linux内核的pdflush机制，即如何将内存缓存中的数据刷回磁盘。pdflush线程的数量可通过/proc/sys/vm/nr_pdflush_threads调整，范围为2到8个。

       当内存不足或需要强制刷新时，脏页的刷新会通过wakeup_pdflush函数触发，该函数调用background_writeout函数进行处理。background_writeout会监控脏页数量，当超过脏数据临界值（脏背景比率，通过dirty_background_ratio调整）时，会分批刷磁盘，直到比率下降。

       内核定时器也参与脏页刷新，启动wb_timer定时器，周期性地检查脏页并刷新。系统会在脏页存在超过dirty_expire_centisecs（可以通过/proc/sys/vm/dirty_expire_centisecs设置）后启动刷新。用户态的WRITE写文件操作也会触发脏页刷新，以平衡脏页比率，避免阻塞写操作。

       总结系统回写脏页的三种情况：定时器触发、内存不足时分批写、写操作触发pdflush。关键参数包括dirty_background_ratio、dirty_expire_centisecs、dirty_ratio和dirty_writeback_centisecs，它们分别控制脏数据比例、回写时间、用户自定义回写和pdflush唤醒频率。

       在大数据项目中，写入量大时，应避免依赖系统缓存自动刷回，尤其是当缓存不足以满足写入速度时，可能导致写操作阻塞。在逻辑设计时，应谨慎使用系统缓存，对于对性能要求高的场景，建议自定义缓存，同时在应用层配合使用系统缓存以优化高楼贴等特定请求的性能。预读策略是提升顺序读性能的重要手段，Linux根据文件顺序性和流水线预读进行优化，预读大小通过快速扩张过程动态调整。

       最后，注意pread和pwrite在多线程io操作中的优势，以及文件描述符管理对性能的影响。在使用pread/pwrite时，即使每个线程有自己的文件描述符，它们最终仍作用于同一inode，不会额外提升IO性能。