1.redis应用 9： Scan
2.Redis7.0源码阅读：哈希表扩容、缩容以及rehash
3.Redis 源码分析字典（dict）
4.Redis技术探索「核心技术」分析探究如何实现LFU的热点key发现机制以及内部的Scan扫描技术的原理
5.Redis源码解析：一条Redis命令是如何执行的？

redis应用 9： Scan

       在日常的Redis维护工作中，找出特定前缀的key列表以手动处理数据时，面临如何从数以万计的key中筛选出满足条件的挑战。为解决此问题，Redis引入了扫描指令（scan）。美容论坛源码

       对比传统的keys指令，scan更高效且具备以下特点：

       1. **灵活的前缀匹配**：通过指定正则表达式，可以精确匹配满足特定前缀的key。

       2. **分批次遍历**：采用分页方式，每次获取部分结果，避免一次性处理大量数据导致性能瓶颈。

       ### 扫描基础使用

       在实际应用中，首先，向Redis中插入大量数据进行测试。然后，使用scan指令以特定前缀（如`key`）搜索满足条件的key列表。

       ### 详解扫描参数

       scan指令由三个参数组成：cursor（游标整数）、正则模式（匹配前缀）和limit（限定遍历槽位数）。初次遍历时cursor为0，后续遍历基于返回结果中的整数值更新cursor。limit参数并非直接限制返回结果数量，而是控制服务器单次遍历的槽位数量，确保遍历的高效性。

       ### Redis字典结构

       Redis中的字典采用一维数组+二维链表结构，数组大小为2^n（n>0），随着扩容，数组大小翻倍，从而适应更多key的存储。

       ### 扫描过程解析

       scan遍历遵循高位进位加法原则，以避免扩容和缩容时槽位的重复或遗漏。每次遍历时，ase系统源码基于limit参数获取指定槽位上的所有key，进行匹配筛选后返回。

       ### 扩容与缩容的影响

       在字典扩容时，通过高位进位加法确保了遍历顺序的连续性，避免了重复遍历已访问的槽位。缩容操作则可能导致某些槽位元素的重复遍历，但整体上仍确保了遍历的完整性和高效性。

       ### 渐进式rehash

       Redis采用渐进式rehash策略，以减少在大规模元素迁移时对应用性能的影响。在rehash过程中，同时保留旧数组和新数组，逐步迁移元素，确保操作的连续性和数据的一致性。

       ### 更多扫描指令

       scan指令的家族还包括针对特定数据结构的指令，如zscan、hscan、sscan，它们分别用于遍历zset、hash、set集合，原理与scan相似，底层基于字典结构。

       ### 大key扫描与优化

       面对大key的挑战，使用scan指令结合type指令和数据结构的size或len方法，可以定位出占用资源较多的key。通过脚本或Redis官方工具，自动化筛选并优化，避免因大key导致的性能问题和资源浪费。

       总结，scan指令为处理大规模Redis数据提供了高效、灵活的编程笔记源码解决方案，通过合理使用，可显著提升数据管理和维护的效率。

Redis7.0源码阅读：哈希表扩容、缩容以及rehash

       当哈希值相同发生冲突时，Redis 使用链表法解决，将冲突的键值对通过链表连接，但随着数据量增加，冲突加剧，查找效率降低。负载因子衡量冲突程度，负载因子越大，冲突越严重。为优化性能，Redis 需适时扩容，将新增键值对放入新哈希桶，减少冲突。

       扩容发生在 setCommand 部分，其中 dictKeyIndex 获取键值对索引，判断是否需要扩容。_dictExpandIfNeeded 函数执行扩容逻辑，条件包括：不在 rehash 过程中，哈希表初始大小为0时需扩容，或负载因子大于1且允许扩容或负载因子超过阈值。

       扩容大小依据当前键值对数量计算，如哈希表长度为4，实际有9个键值对，扩容至（最小的2的n次幂大于9）。子进程存在时，dict_can_resize 为0，反之为1。fork 子进程用于写时复制，cpython源码查询确保持久化操作的稳定性。

       哈希表缩容由 tryResizeHashTables 判断负载因子是否小于0.1，条件满足则重新调整大小。此操作在数据库定时检查，且无子进程时执行。

       rehash 是为解决链式哈希效率问题，通过增加哈希桶数量分散存储，减少冲突。dictRehash 函数完成这一任务，移动键值对至新哈希表，使用位运算优化哈希计算。渐进式 rehash 通过分步操作，减少响应时间，适应不同负载情况。定时任务检测服务器空闲时，进行大步挪动哈希桶。

       在 rehash 过程中，数据查询首先在原始哈希表进行，若未找到，则在新哈希表中查找。rehash 完成后，哈希表结构调整，原始表指向新表，新表内容返回原始表，实现 rehash 结果的整合。

       综上所述，Redis 通过哈希表的扩容、缩容以及 rehash 动态调整哈希桶大小，优化查找效率，确保数据存储与检索的高效性。这不仅提高了 Redis eacd指标源码的性能，也为复杂数据存储与管理提供了有力支持。

Redis 源码分析字典（dict）

       Redis 的内部字典世界：从哈希表到高效管理的深度解析

       Redis，作为开源的高性能键值存储系统，其内部实现的字典数据结构是其核心组件之一。这个数据结构采用自定义的哈希表——dictEntry，巧妙地存储和管理着键值对。让我们一起深入理解这一强大工具的运作机制。

       首先，Redis的字典是基于哈希表的，通过哈希函数将键转换为数组索引，实现高效查找。dictEntry结构巧妙地封装了键（key）、值（value）以及指向下一个节点的指针，构成了数据存储的基本单元。同时，dict包含一系列操作函数，包括哈希计算、键值复制、比较以及销毁操作，这些函数的指针类型（dictType）和实际数据结构共同构建了其高效性能。

       在字典的管理中，rehash是一个关键概念，它标志着哈希表的重新分布过程。rehash标志是一个计数器，用于跟踪当前哈希表实例的状态，确保在负载过高时进行扩容。当ht_used[0]非零，且满足特定条件（如元素数量超过初始桶数），服务器会触发resize操作，这通常在serverCron定时任务中进行，以避免磁盘I/O竞争。

       rehash过程中，Redis采取渐进式策略，通过dictRehash函数，逐个移动键值对到新哈希表，确保操作的线程安全。为了避免长时间阻塞，这个过程被分散到函数中，并通过serverCron定时任务，以毫秒级的步长进行，确保在无磁盘写操作时进行。

       在处理过期键时，dictRehashMilliseconds()函数扮演重要角色，它在rehash时监控时间消耗，确保性能。rehash过程中，dictAdd负责插入新哈希表，而dictFind和dictDelete则需处理ht_table[0]和ht_table[1]的键值对。

       Redis的默认哈希算法采用SipHash，保证了数据的分布均匀性。在持久化时，负载因子默认设置为5，而rehash后，数据结构会采用迭代器的形式，分为安全和非安全两种，以满足不同场景的需求。

       在实际操作中，如keysCommand，会选择安全模式以避免重复遍历，而在处理大规模数据时，如scan命令，可能需要使用非安全模式，但需注意可能带来的问题。

       总的来说，Redis的字典数据结构是其高效性能的基石，通过精细的哈希管理、rehash策略以及迭代器设计，确保了在高并发和频繁操作下的稳定性和性能。深入理解这些内部细节，对于优化Redis性能和应对复杂应用场景至关重要。

Redis技术探索「核心技术」分析探究如何实现LFU的热点key发现机制以及内部的Scan扫描技术的原理

       在业务中，面对访问热点问题，Redis4.0引入了基于LFU（Least Frequently Used）的热点key发现机制，弥补了旧版本在访问频率记录上的不足。LFU算法将内存逐出策略与访问频率关联，通过在每个对象的位空间中记录LRU/LFU信息来实现这一目标。其中，counter作为基于概率的对数计数器，能够高效地记录访问频率，即使使用8位也能表示1百万的访问次数。此外，LFU算法还引入了衰减因子来解决计数器增长但不衰减的问题，确保可以区分热点key。

       LFU算法的核心在于每次对key进行读写访问时，实时更新LFU的位域，包括访问时间和counter。这样，每个key就能获得正确的LFU值，用户可以通过OBJECT FREQ子命令获取访问频率信息，但需要先将内存逐出策略设置为allkeys-lfu或volatile-lfu。redis 4.0.3还提供了redis-cli的热点key发现功能，通过执行带--hotkeys选项的命令即可轻松获取热点key。

       Redis在4.0版本中引入了Scan命令，解决单线程处理O(N)命令可能导致的进程阻塞问题。相比keys命令，Scan命令具有两个明显优势：它不会阻塞Redis进程，并且返回结果不重复，但客户端需要自行去重。Scan命令通过遍历底层的Hash表结构，返回符合匹配模式的元素，从而高效地在满足需求的同时避免造成Redis卡顿。

       Redis使用Hash表作为底层实现，通过数组+链表的结构存储key，每次扩容时数组长度扩大一倍。Scan命令的遍历顺序具有独特性，从高位到低位进行加一操作，以适应字典扩容与缩容的情况。在扩容时，Scan命令从新数组的高位开始遍历，避免重复访问旧数组的元素；在缩容时，Scan命令同样遵循高位到低位的遍历顺序，但可能有少量重复元素出现。

       Redis的rehash过程采用渐进式机制，避免阻塞Redis进程。在rehash过程中，旧表中的元素逐步迁移到新表，以bucket为单位进行迁移，确保数据的连续性和一致性。通过源码分析，可以清晰了解rehash过程中的bucket迁移逻辑，确保数据在rehash过程中的稳定性和高效性。

Redis源码解析：一条Redis命令是如何执行的？

       作者：robinhzhang

       Redis，一个开源内存数据库，凭借其高效能和广泛应用，如缓存、消息队列和会话存储，本文将带你探索其命令执行的底层流程。本文将以源码解析的形式，逐层深入Redis的核心结构和命令执行过程，旨在帮助开发者理解实现细节，提升编程技术和设计意识。

       源码结构概览

       在学习Redis源代码之前，首先要了解其主要的组成部分：redisServer、redisClient、redisDb、redisObject以及aeEventLoop。这些结构体和事件模型构成了Redis的核心架构。

       redisServer：服务端运行的核心结构，包括监听socket、数据存储的redisDb列表和客户端连接信息。

       redisClient：客户端连接状态的存储，包括命令处理缓冲区、回复数据列表和数据库句柄。

       redisDb：键值对的数据存储，采用两个哈希表实现渐进式rehash。

       redisObject：存储对象的通用表示，包含引用计数和LRU时间，用于内存管理。

       aeEventLoop：事件循环，管理文件和时间事件的处理。

       核心流程详解

       Redis的执行流程从main函数开始，首先初始化配置和服务器组件，进入主循环处理事件。命令执行流程涉及redis启动、客户端连接、接收命令和返回结果四个步骤：

       启动阶段：创建socket服务器，注册可读事件，进入主循环。

       连接阶段：客户端连接后，接收并处理命令，创建客户端实例。

       命令阶段：客户端发送命令，服务端解析并调用对应的命令处理函数。

       结果阶段：处理命令后，根据协议格式构建回复并写回客户端。

       渐进式rehash与内存管理

       Redis的内存管理采用引用计数法，通过对象的refcount字段控制内存分配和释放。rehash操作在Redis 2.x版本引入，通过逐步迁移键值对，降低对单线程性能的影响。当负载达到阈值，会进行扩容，这涉及新表的创建和键值对的迁移。

       总结

       本文通过Redis源码分析，揭示了其命令执行的细节，包括启动流程、客户端连接、命令处理和结果返回，以及内存管理策略。这将有助于开发者深入理解Redis的工作原理，提升编程效率和设计决策能力。