1.Redis 步源哨兵模式 - 源码梳理
2.Redis 源码剖析 3 -- redisCommand
3.redis源码解读（一）：事件驱动的io模型，为什么，步源是步源什么，怎么做
4.redis7.0源码阅读：Redis中的步源IO多线程（线程池）
5.Redis 实现分布式锁 +Redisson 源码解析
6.Redis Client-side Caching实现剖析与源码解读

Redis 哨兵模式 - 源码梳理

       本文以Redis 7.0.版本为基准，如有不妥之处，步源敬请指正。步源app导航源码

       哨兵模式的步源代码流程逻辑如下：哨兵节点每秒（主从切换时为1秒）向已知的主节点和从节点发送info命令。接收到主节点的步源info回复后，解析其中的步源slave字段信息，进而创建相应的步源从节点instance。收到从节点的步源info回复后，解析其中的步源slave_master_host、slave_master_port、步源slave_master_link_status、步源slave_priority、步源slave_repl_offset、replica_announced等信息（步骤2和sentinelInfoReplyCallback）。

       在sentinel.masters的初始数据中，来自于sentinel.conf中的monitor，利用info命令探测主节点及其所属的从节点。通过订阅__sentinel__:hello频道，获取其他哨兵节点的信息。其中，link->act_ping_time表示最早一次未收到回复的ping请求发送时间，收到回复后其会被重置为0。因此，其不为0时，表示有未收到回复的ping请求。link->last_avail_time表示最近一次收到对ping有效回复的时间，link->last_pong_time表示最近一次收到对ping回复（有效和无效）的时间，link->pc_last_activity表示最近一次收到publish的消息，ri->role_reported_time表示最近一次收到info且回复中role相比于上次发生改变的时间。

       Raft一致性算法

       thesecretlivesofdata.com...

Redis 源码剖析 3 -- redisCommand

       Redis 使用 redisCommand 结构体处理命令请求，其内包含一个指向对应处理函数的 proc 指针。redisCommandTable 是一个存储所有 Redis 命令的数组，位于 server.c 文件中。此数组通过 populateCommandTable() 函数填充，该函数将 redisCommandTable 的内容添加到 server.commands 字典，将 Redis 支持的所有命令及其实现整合。

       populateCommandTable() 函数中包含 populateCommandTableParseFlags() 子函数，用于将 sflags 字符串转换为对应的 flags 值。lookupCommand*() 函数族负责从 server.commands 中查找相应的命令。

redis源码解读（一）：事件驱动的io模型，为什么，是什么，怎么做

       Redis作为一个高性能的内存数据库，因其出色的读写性能和丰富的数据结构支持，已成为互联网应用不可或缺的中间件之一。阅读其源码，可以了解其内部针对高性能和分布式做的种种设计，包括但不限于reactor模型（单线程处理大量网络连接），定时任务的实现（面试常问），分布式CAP BASE理论的实际应用，高效的数据结构的实现，其次还能够通过大神的代码学习C语言的编码风格和技巧，让自己的代码更加优雅。

       下面进入正题：为什么需要事件驱动的织梦查询源码io模型

       我们可以简单地将一个服务端程序拆成三部分，接受请求->处理请求->返回结果，其中接收请求和处理请求便是我们常说的网络io。那么网络io如何实现呢，首先我们介绍最基础的io模型，同步阻塞式io，也是很多同学在学校所学的“网络编程”。

       使用同步阻塞式io的单线程服务端程序处理请求大致有以下几个步骤

       其中3,4步都有可能使线程阻塞（6也会可能阻塞，这里先不讨论）

       在第3步，如果没有客户端请求和服务端建立连接，那么服务端线程将会阻塞。如果redis采用这种io模型，那主线程就无法执行一些定时任务，比如过期key的清理，持久化操作，集群操作等。

       在第4步，如果客户端已经建立连接但是没有发送数据，服务端线程会阻塞。若说第3步所提到的定时任务还可以通过多开两个线程来实现，那么第4步的阻塞就是硬伤了，如果一个客户端建立了连接但是一直不发送数据，服务端便会崩溃，无法处理其他任何请求。所以同步阻塞式io肯定是不能满足互联网领域高并发的需求的。

       下面给出一个阻塞式io的服务端程序示例：

       刚才提到，阻塞式io的主要问题是，调用recv接收客户端请求时会导致线程阻塞，无法处理其他客户端请求。那么我们不难想到，既然调用recv会使线程阻塞，那么我们多开几个几个线程不就好了，让那些没有阻塞的线程去处理其他客户端的请求。

       我们将阻塞式io处理请求的步骤改造下：

       改造后，我们用一个线程去做accept，也就是获取已经建立的连接，我们称这个线程为主线程。然后获取到的每个连接开一个新的线程去处理，这样就能够将阻塞的部分放到新的线程，达到不阻塞主线程的目的，主线程仍然可以继续接收其他客户端的连接并开新的线程去处理。这个方案对高并发服务器来说是一个可行的方案，此外我们还可以使用线程池等手段来继续优化，减少线程建立和销毁的开销。

       将阻塞式io改为多线程io：

       我们刚才提到多线程可以解决并发问题，然而redis6.0之前使用的是单线程来处理，之所以用单线程，官方给的答复是redis的瓶颈不在cpu，既然不在cpu那么用单线程可以降低系统的复杂度，避免线程同步等问题。如何在一个线程中非阻塞地处理多个socket，进而实现多个客户端的并发处理呢，那就要借助io多路复用了。

       io多路复用是操作系统提供的另一种io机制，这种机制可以实现在一个线程中监控多个socket，返回可读或可写的socket，当一个socket可读或可写时再去操作它，短视频源码分享这样就避免了对某个socket的阻塞等待。

       将多线程io改为io多路复用：

       什么是事件驱动的io模型（Reactor）

       这里只讨论redis用到的单线程Reactor模型

       事件驱动的io模型并不是一个具体的调用，而是高并发服务器的一种抽象的编程模式。

       在Reactor模型中，有三种事件：

       与这三种事件对应的，有三种handler，负责处理对应的事件。我们在一个主循环中不断判断是否有事件到来（一般通过io多路复用获取事件），有事件到来就调用对应的handler去处理时间。

       听着玄乎，实际上也就这一张图：

       事件驱动的io模型在redis中的实现

       以下提及的源码版本为 5.0.8

       文字的苍白的，建议参照本文最后的方法下载代码，自己调试下

       整体框架

       redis-server的main方法在 src/server.c 最后，在main方法中，首先进行一系列的初始化操作，最后进入进入Reactor模型的主循环中：

       主循环在aeMain函数中，aeMain函数传入的参数 server.el ，是一个 aeEventLoop 类型的全局变量，保存了主循环的一些状态信息，包括需要处理的读写事件、时间事件列表，epoll相关信息，回调函数等。

       aeMain函数中，我们可以看到当 eventLoop->stop 标志位为0时，while循环中的内容会被重复执行，每次循环首先会调用beforesleep回调函数，然后处理时间。beforesleep函数在main函数中被注册，会进行集群状态更新、AOF落盘等任务。

       之所以叫beforesleep，是因为aeProcessEvents函数中包含了获取事件和处理事件的逻辑，其中获取读写事件时通过epoll_wait实现，会将线程阻塞。

       在aeProcessEvents函数中，处理读写事件和时间事件，参数flags定义了需要处理的事件类型，我们可以暂时忽略这个参数，认为读写时间都需要处理。

       aeProcessEvents函数的逻辑可以分为三个部分，首先获取距离最近的时间事件，这一步的目的是为了确定epoll_wait的超时时间，并不是实际处理时间事件。

       第二个部分为获取读写事件并处理，首先调用epoll_wait，获取需要处理的读写事件，超时时间为第一步确定的时间，也就是说，如果在超时时间内有读写事件到来，那么处理读写时间，如果没有读写时间就阻塞到下一个时间事件到来，去处理时间事件。

       第三个部分为处理时间事件。

       事件注册与获取

       上面我们讲了整体框架，了解了主循环的如何修改AE源码大致流程。接下来我们来看其中的细节，首先是读写事件的注册与获取。

       redis将读、写、连接事件用结构aeFileEvent表示，因为这些事件都是通过epoll_wait获取的。

       事件的具体类型通过mask标志位来区分。aeFileEvent还保存了事件处理的回调函数指针（rfileProc、wfileProc）和需要读写的数据指针（clientData）。

       既然读写事件是通过epoll io多路复用实现，那么就避不开epoll的三部曲 epoll_create epoll_ctrl epoll_wait，接下来我们看下redis对epoll接口的封装。

       我们之前提到aeMain函数的参数是一个 aeEventLoop 类型的全局变量，aeEventLoop中保存了epoll文件描述符和epoll事件。在aeApiCreate函数（src/ae_epoll.c）中，会调用epoll_create来创建初始化epoll文件描述符和epoll事件，调用关系为 main -> initServer -> aeCreateEventLoop -> aeApiCreate

       调用epoll_create创建epoll后，就可以添加需要监控的文件描述符了，需要监控的情形有三个，一是监控新的客户端连接连接请求，二是监控客户端发送指令，也就是读事件，三是监控客户端写事件，也就是处理完了请求写回结果。

       这三种情形在redis中被抽象为文件事件，文件事件通过函数aeCreateFileEvent（src/ae.c）添加，添加一个文件事件主要包含三个步骤，通过epoll_ctl添加监控的文件描述符，指定回调函数和指定读写缓冲区。

       最后是通过epoll_wait来获取事件，上文我们提到，在每次主循环中，首先根据最近到达的时间事件来计算epoll_wait的超时时间，然后调用epoll_wait获取事件，再处理事件，其中获取事件在函数aeApiPoll（src/ae_epoll.c）中。

       获取到事件后，主循环中会逐个调用事件的回调函数来处理事件。

       读写事件的实现

       写累了，有空补上……

       如何使用vscode调试redis源码

       编译出二进制程序

       这一步有可能报错：

       jemalloc是内存分配的一种更高效的实现，用于代替libc的默认实现。这里报错找不到jemalloc，我们只需要将其替换成libc默认实现就好：

       如果报错：

       我们可以在src目录找到一个脚本名为mkreleasehdr.sh，其中包含创建release.h的逻辑，将报错信息网上翻可以发现有一行：

       看来是这个脚本没有执行权限，导致release.h没有成功创建，我们需要给这个脚本添加执行权限然后重新编译：

       2. 创建调试配置（vscode）

       创建文件 .vscode/launch.json，并填入以下内容：

       然后就可以进入调试页面打断点调试了，main函数在 src/server.c

redis7.0源码阅读：Redis中的IO多线程（线程池）

       Redis服务端处理客户端请求时，采用单线程模型执行逻辑操作，然而读取和写入数据的操作则可在IO多线程模型中进行。在Redis中，命令执行发生在单线程环境中，而数据的读取与写入则通过线程池进行。一个命令从客户端接收，解码成具体命令，如何查看vb源码根据该命令生成结果后编码并回传至客户端。

       Redis配置文件redis.conf中可设置开启IO多线程。通过设置`io-threads-do-reads yes`开启多线程，同时配置`io-threads 2`来创建两个线程，其中一个是主线程，另一个为IO线程。在网络处理文件networking.c中，`stopThreadedIOIfNeeded`函数会判断当前需要执行的命令数是否超过线程数，若少于线程数，则不开启多线程模式，便于调试。

       要进入IO多线程模式，运行redis-server命令，然后在调试界面设置断点在networking.c的`readQueryFromClient`函数中。使用redis-cli输入命令时，可以观察到两个线程在运行，一个为主线程，另一个为IO线程。

       相关视频推荐帮助理解线程池在Redis中的应用，包括手写线程池及线程池在后端开发中的实际应用。学习资源包括C/C++ Linux服务器开发、后台架构师技术等领域，需要相关资料可加入交流群获取免费分享。

       在Redis中，IO线程池实现中，主要包括以下步骤：

       读取任务的处理通过`postponeClientRead`函数，判断是否启用IO多线程模式，将任务加入到待执行任务队列。

       主线程执行`postponeClientRead`函数，将待读客户端任务加入到读取任务队列。在多线程模式下，任务被添加至队列中，由IO线程后续执行。

       多线程读取IO任务`handleClientsWithPendingReadsUsingThreads`通过解析协议进行数据读取，与写入任务的多线程处理机制相似。

       多线程写入IO任务`handleClientsWithPendingWritesUsingThreads`包括判断是否需要启动IO多线程、负载均衡分配任务到不同IO线程、启动IO子线程执行写入操作、等待IO线程完成写入任务等步骤。负载均衡通过将任务队列中的任务均匀分配至不同的线程消费队列中，实现无锁化操作。

       线程调度部分包含开启和关闭IO线程的功能。在`startThreadedIO`中，每个IO线程持有锁，若主线程释放锁，线程开始工作，IO线程标识设置为活跃状态。而在`stopThreadedIO`中，若主线程获取锁，则IO线程等待并停止，IO线程标识设置为非活跃状态。

Redis 实现分布式锁 +Redisson 源码解析

       在一些场景中，多个进程需要以互斥的方式独占共享资源，这时分布式锁成为了一个非常有用的工具。

       随着互联网技术的快速发展，数据规模在不断扩大，分布式系统变得越来越普遍。一个应用往往会部署在多台机器上（多节点），在某些情况下，为了保证数据不重复，同一任务在同一时刻只能在一个节点上运行，即确保某一方法在同一时刻只能被一个线程执行。在单机环境中，应用是在同一进程下的，仅需通过Java提供的 volatile、ReentrantLock、synchronized 及 concurrent 并发包下的线程安全类等来保证线程安全性。而在多机部署环境中，不同机器不同进程，需要在多进程下保证线程的安全性，因此分布式锁应运而生。

       实现分布式锁的三种主要方式包括：zookeeper、Redis和Redisson。这三种方式都可以实现分布式锁，但基于Redis实现的性能通常会更好，具体选择取决于业务需求。

       本文主要探讨基于Redis实现分布式锁的方案，以及分析对比Redisson的RedissonLock、RedissonRedLock源码。

       为了确保分布式锁的可用性，实现至少需要满足以下四个条件：互斥性、过期自动解锁、请求标识和正确解锁。实现方式通过Redis的set命令加上nx、px参数实现加锁，以及使用Lua脚本进行解锁。实现代码包括加锁和解锁流程，核心实现命令和Lua脚本。这种实现方式的主要优点是能够确保互斥性和自动解锁，但存在单点风险，即如果Redis存储锁对应key的节点挂掉，可能会导致锁丢失，导致多个客户端持有锁的情况。

       Redisson提供了一种更高级的实现方式，实现了分布式可重入锁，包括RedLock算法。Redisson不仅支持单点模式、主从模式、哨兵模式和集群模式，还提供了一系列分布式的Java常用对象和锁实现，如可重入锁、公平锁、联锁、读写锁等。Redisson的使用方法简单，旨在分离对Redis的关注，让开发者更专注于业务逻辑。

       通过Redisson实现分布式锁，相比于纯Redis实现，有更完善的特性，如可重入锁、失败重试、最大等待时间设置等。同时，RedissonLock同样面临节点挂掉时可能丢失锁的风险。为了解决这个问题，Redisson提供了实现了RedLock算法的RedissonRedLock，能够真正解决单点故障的问题，但需要额外为RedissonRedLock搭建Redis环境。

       如果业务场景可以容忍这种小概率的错误，推荐使用RedissonLock。如果无法容忍，推荐使用RedissonRedLock。此外，RedLock算法假设存在N个独立的Redis master节点，并确保在N个实例上获取和释放锁，以提高分布式系统中的可靠性。

       在实现分布式锁时，还需要注意到实现RedLock算法所需的Redission节点的搭建，这些节点既可以是单机模式、主从模式、哨兵模式或集群模式，以确保在任一节点挂掉时仍能保持分布式锁的可用性。

       在使用Redisson实现分布式锁时，通过RedissonMultiLock尝试获取和释放锁的核心代码，为实现RedLock算法提供了支持。

Redis Client-side Caching实现剖析与源码解读

       Redis的Client-side Caching是一种通过在客户端存储本地缓存来减轻服务器负载和网络负担的策略。当数据访问频繁且以读取为主时，这种策略能提升性能，减少Redis服务的压力和响应延迟。

       在Redis 6.0之前，客户端缓存的一个挑战在于数据更新时如何同步。例如，当user:的username从Alice变更为Bob时，需要确保客户端缓存的更新同步。为解决这个问题，Redis 6引入了key失效主动通知，简化了客户端缓存的实现，并提高其可靠性。

       Redis客户端缓存支持两种模式：默认模式和广播模式。默认模式下，服务器会记录每个客户端关注的键，当键被修改时发送失效通知，但会消耗服务器内存；而广播模式则不占用内存，客户端订阅特定前缀以接收通知。

       使用OPTIN选项，客户端可以选择性地缓存特定键，减少服务器内存负担和无效消息量。相反，OPTOUT选项将默认缓存键，但允许指定不缓存的键。客户端需要明确指定缓存行为，这可能增加网络交互但减少服务器负载。

       在处理连接失效问题时，客户端需确保及时处理失效消息，以避免数据缓存错误。同时，合理配置Redis的内存限制，以防止内存溢出。

       最后，源码层面，Redis通过开启或关闭tracking功能来实现Client-side Caching，包括记录读取的键、在命令处理后发送invalidate消息以及根据模式向客户端发送消息。理解这些细节有助于深入理解和优化Redis的缓存策略。

Redis 主从复制 - 源码梳理

       本文主要剖析Redis主从复制机制中的核心组件之一——复制积压缓冲区（Replication Buffer），旨在为读者提供一个对Redis复制流程和缓冲区机制深入理解的平台，以下内容仅基于Redis版本7.0.，若读者在使用过程中发现偏差，欢迎指正。

       复制积压缓冲区在逻辑上可理解为一个容量最大的位整数，其初始值为1，由offset、master_repl_offset和repl_backlog-histlen三个变量共同决定缓冲区的有效范围。offset表示缓冲区内命令起始位置，master_repl_offset代表结束位置，二者之间的长度由repl_backlog-histlen表示。

       每当主节点执行写命令，新生成的积压缓冲区大小增加，同时增加master_repl_offset和repl_backlog-histlen的值，直至达到预设的最大容量（默认为1MB）。一旦所有从节点接收到命令并确认同步无误，缓冲区内过期的命令将被移除，并调整offset和histlen以维持积压区容量的稳定性。

       为实现动态分配，复制积压缓冲区被分解成多个block，以链表形式组织。每个block采用引用计数管理策略，初始值为0，每当增加或删除从节点对block的引用时，计数值相应增减。新生成block时，将master_repl_offset+1设置为block的repl_offset值，并将写入命令拷贝至缓冲区内，与此同时，master_repl_offset和repl_backlog-histlen增加。

       通过循环遍历所有从节点，为每个从节点设置ref_repl_buf_node指向当前block或最后一个block，确保主从复制能够准确传递命令。当主节点接收到从节点的连接请求时，将开始填充积压缓冲区。在全量复制阶段，从slave-replstate为WAIT_BGSAVE_START至ONLINE，表示redis从后台进程开始执行到完成RDB文件传输和加载，命令传播至此阶段正式开始。

       针对每个从节点，主节点从slave-ref_block_pos开始发送积压缓冲区内的命令，每发送成功，slave-ref_block_pos相应更新。当积压缓冲区超过预设阈值，即复制积压缓冲区中的有效长度超过repl-backlog-size（默认1MB）时，主节点将清除已发送的缓冲区，释放内存。如果主节点写入命令频繁或从节点断线重连时间长，则需合理调整缓冲区大小（推荐值为2 * second * write_size_per_second）以保持增量复制的稳定运行。

       当最后一个从节点与主节点的连接断开超过repl-backlog-ttl（默认为秒）时，主节点将释放repl_backlog和复制积压缓冲区以确保资源的有效使用。不过需要注意的是，从节点的释放操作依赖于节点是否可能成为新的主节点，因此在最后处理逻辑上需保持谨慎。

Redis 源码分析字典（dict）

       Redis 的内部字典世界：从哈希表到高效管理的深度解析

       Redis，作为开源的高性能键值存储系统，其内部实现的字典数据结构是其核心组件之一。这个数据结构采用自定义的哈希表——dictEntry，巧妙地存储和管理着键值对。让我们一起深入理解这一强大工具的运作机制。

       首先，Redis的字典是基于哈希表的，通过哈希函数将键转换为数组索引，实现高效查找。dictEntry结构巧妙地封装了键（key）、值（value）以及指向下一个节点的指针，构成了数据存储的基本单元。同时，dict包含一系列操作函数，包括哈希计算、键值复制、比较以及销毁操作，这些函数的指针类型（dictType）和实际数据结构共同构建了其高效性能。

       在字典的管理中，rehash是一个关键概念，它标志着哈希表的重新分布过程。rehash标志是一个计数器，用于跟踪当前哈希表实例的状态，确保在负载过高时进行扩容。当ht_used[0]非零，且满足特定条件（如元素数量超过初始桶数），服务器会触发resize操作，这通常在serverCron定时任务中进行，以避免磁盘I/O竞争。

       rehash过程中，Redis采取渐进式策略，通过dictRehash函数，逐个移动键值对到新哈希表，确保操作的线程安全。为了避免长时间阻塞，这个过程被分散到函数中，并通过serverCron定时任务，以毫秒级的步长进行，确保在无磁盘写操作时进行。

       在处理过期键时，dictRehashMilliseconds()函数扮演重要角色，它在rehash时监控时间消耗，确保性能。rehash过程中，dictAdd负责插入新哈希表，而dictFind和dictDelete则需处理ht_table[0]和ht_table[1]的键值对。

       Redis的默认哈希算法采用SipHash，保证了数据的分布均匀性。在持久化时，负载因子默认设置为5，而rehash后，数据结构会采用迭代器的形式，分为安全和非安全两种，以满足不同场景的需求。

       在实际操作中，如keysCommand，会选择安全模式以避免重复遍历，而在处理大规模数据时，如scan命令，可能需要使用非安全模式，但需注意可能带来的问题。

       总的来说，Redis的字典数据结构是其高效性能的基石，通过精细的哈希管理、rehash策略以及迭代器设计，确保了在高并发和频繁操作下的稳定性和性能。深入理解这些内部细节，对于优化Redis性能和应对复杂应用场景至关重要。

Redis源码阅读（1）——zmalloc

       zmalloc是一个简化内存分配的库，包含以下API函数：

       zmalloc

       zcalloc

       zrealloc

       zfree

       zstrdup

       zmalloc_used_memory

       zmalloc_set_oom_handler

       zmalloc_get_rss

       zmalloc_get_allocator_info

       zmalloc_get_private_dirty

       zmalloc_get_smap_bytes_by_field

       zmalloc_get_memory_size

       zlibc_free

       其中，zmalloc用于分配内存，zcalloc在分配内存的同时初始化为0，zrealloc用于重新分配内存，zfree用于释放内存，zstrdup用于复制字符串并分配内存，zmalloc_used_memory用于获取已分配内存的大小，zmalloc_set_oom_handler用于设置内存溢出处理器，zmalloc_get_rss用于获取当前进程的内存使用量，zmalloc_get_allocator_info用于获取分配器信息，zmalloc_get_private_dirty用于获取私有脏数据，zmalloc_get_smap_bytes_by_field用于获取指定字段的内存使用量，zmalloc_get_memory_size用于获取内存大小，zlibc_free用于释放内存。

       在zmalloc中，宏函数update_zmalloc_stat_alloc用于更新used_memory的值。这个宏函数中的if语句用于补齐分配的内存字节数到sizeof(long)，但是我不太理解5.0源码中为什么atomicIncr使用的是__n而不是直接对_n进行操作。测试发现，used_memory的值并未对齐到8，那么if语句的存在意义何在呢？

       同样地，update_zmalloc_stat_free宏函数用于更新已释放内存的统计信息。与update_zmalloc_stat_alloc相比，虽然malloc_usable_size已经返回精确的字节数，但update_zmalloc_stat_alloc为何不直接使用atomicIncr更新used_memory呢？在Unstable分支中，已有开发者对此进行了优化。