Redis缓冲区机制实例分析
Redis Assistant 是一款为Redis设计的高效可视化管理与监控工具，提供多种操作模式，高效处理服务器数据。日常使用里的持续防护和信息管理会更突出，适合把安全控制放进长期使用流程中的场景。
Redis缓冲区机制Redis中的缓冲区机制就是为了平衡客户端发送命令和服务端处理命令的速度差异，如果客户端写入过快或者服务端读取过慢这就会导致缓冲区溢出，缓冲区一旦溢出将引发一系列的性能问题，下面我们详细聊聊。客户端缓冲机制Redis为每一个客户端都分配了一个输入缓冲区和输出缓冲区，输入缓冲区会把客户端的请求命令暂存起来，Redis主线程会从缓冲区中获取命令，当Redis处理完命令后会将结果写入到输出缓冲区中，通过输出缓冲区返回给客户端，如下所示应对输入缓冲区溢出输入缓冲区溢出一般就是两种情况写入数据过
Redis缓冲区机制
Redis中的缓冲区机制就是为了平衡客户端发送命令和服务端处理命令的速度差异，如果客户端写入过快或者服务端读取过慢这就会导致缓冲区溢出，缓冲区一旦溢出将引发一系列的性能问题，下面我们详细聊聊。
客户端缓冲机制
Redis为每一个客户端都分配了一个输入缓冲区和输出缓冲区，输入缓冲区会把客户端的请求命令暂存起来，Redis主线程会从缓冲区中获取命令，当Redis处理完命令后会将结果写入到输出缓冲区中，通过输出缓冲区返回给客户端，如下所示
应对输入缓冲区溢出
输入缓冲区溢出一般就是两种情况
写入数据过快，或者写入bigkey的数据占满数据缓冲区。
服务端处理数据过慢，一般是主线程被阻塞无法正常响应客户端请求。
查看输入缓冲区信息
我们可以采用client list查看输入缓冲区的具体信息
127.0.0.1:6379> client list id=13 addr=127.0.0.1:50484 fd=7 name= age=1136 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=26 qbuf-free=32742 obl=0 oll=0 omem=0 events=r cmd=client user=default id=14 addr=127.0.0.1:50486 fd=8 name= age=1114 idle=6 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=client user=default
每连接上一个客户端就会多一条输入缓冲区信息，上面命令是我本地连接两个客户端的结果，我们查看缓冲区主要关注内存相关的两个参数
qbuf：缓冲区已经使用的长度（字节为单位，0表示没有分配缓冲区）。
qbuf-free：缓冲区剩余空闲空间（字节为单位），上面一个客户端的qbuf=26，空闲缓冲区qbuf-free=32742，那么分配内存总大小为26+32742=32768字节也就是32KB。
如果输入缓冲区信息中的qbuf-free很小并且qbuf很大时就需要注意了，这时输入缓冲区可能已经快溢出了，如果此时还有大量请求写入输入缓冲区，Redis的解决办法就是关闭和这个客户端的连接，那么业务数据将无法正常存取。
而且还有一个问题就是输入缓冲区是每一个客户端都会存在，那么当所有客户端的输入缓冲区内存总和超过了maxmemory配置，那么将引发内存淘汰，部分淘汰的数据再次访问需要从后台数据库获取，获取的耗时肯定比Redis直接读取慢的多，所以这也是Redis产生延迟的一个原因。
如何解决输入缓冲区溢出
输入缓冲区溢出本质就是缓冲区的容量不够，所以第一个思路就是扩大输入缓冲区的大小，很不幸Redis没有提供给我们修改输入缓冲区大小的配置，Redis要求每个客户端的输入缓冲区最大不能超过1G，注意是每个客户端！！！，如果客户端的输入缓冲区超过一个1G将关闭客户端连接，所以这个是行不通的。
那就只能从客户端发送数据的大小以及服务端处理命令的速度，客户端需要避免bigkey的写入bigkey的劣势太多一般都需要拆分，第二服务端的命令处理速度这个一般依赖于主线程是否阻塞，需要尽量的避免一些阻塞操作如AOF文件重写，键值删除，fork线程等等。
应对输出缓冲区溢出
对于服务端而言，客户端的输入信息通常都是不可预测的，但是输出信息大多可以预测，如Set命令返回信息只是一个简单的OK，又如一些报错信息，Redis为这些不变的返回信息分配了16KB的固定缓冲空间，也就是说输出缓冲区分为两个部分一部分是输出缓冲区固定返回信息，一部分是可变的返回信息。
输出缓冲区溢出分为三种情况
输出bigkey等容量大的键值。
客户端执行Monitor命令，监控Redis执行。
缓冲区设置不合理。
bigkey是老生常谈的一个问题，当服务端输出一个bigkey或者keys这类命令，对输出缓冲区的考验是非常大的，因为查询的一瞬间会占据输入缓冲区大量的内存空间。
Monitor命令的执行
Monitor命令一般是一个debug命令，用来监控Redis的具体执行情况，能够返回服务器处理的每一个命令。
127.0.0.1:6379> monitor OK 1652184977.609761 [0 127.0.0.1:50484] "get" "name" 1652185391.529292 [0 127.0.0.1:50484] "set" "test" "lisi" ......
一直运行monitor将一直占据输出缓冲区，也就是说占据时间越长，越容易造成输出缓冲区的溢出，所以Monitor命令仅仅只适用于调试环境，不能在生产上执行这些命令。
输出缓冲区设置不合理
输入缓冲区的大小不能设置，但是输出缓冲区的是可以设置的我们可以通过配置项client-output-buffer-limit来设置，设置的内容就是两部分
缓冲区的内存大小，当超过缓冲区配置的大小，服务端会关闭和客户端的连接。
持续写入的时间限制和持续写入的容量限制，当超过持续写入时间限制和容量限制，服务端也会强制关闭和客户端的连接。
客户端种类
在聊缓冲区配置时，我们需要先了解下客户端的种类，本文中强调的客户端并不是单纯指通过命令./redis-cli -c -h 127.0.0.1 -p 6379去连接Redis服务器这类客户端称为常规客户端，我们还有通过消息订阅Redis频道的客户端，还有一种最为特殊的主从同步，从节点也是一个特殊的客户端称为从节点客户端。
配置项client-output-buffer-limit也是针对这三种，给出了不一样的配置，如下所示
## 普通客户端配置 client-output-buffer-limit normal 0 0 0 ## 从节点客户端配置 client-output-buffer-limit replica 256mb 64mb 60 ## 消息订阅频道的客户端 client-output-buffer-limit pubsub 32mb 8mb 60 ######################配置解释###################### ## 第一个参数：代表分配给客户端的缓存大小，为0代表没有限制 ## 第二个参数：表示持续写入的最大内存，为0代表没有限制 ## 第三个参数：表示持续写入的最长时间，为0代表没有限制
普通客户端设置
普通客户端就是传输的一些普通的指令，一个指令发送完需要等待其返回后才会发送下一个指令，也就是说只要不是返回的bigkey数据，占用输出缓冲区的内存就极少，能够立即发送给客户端响应，所以一般正常客户端默认配置都是0，也就是不限制。
消息订阅频道客户端
当订阅频道产生消息后，会将消息通过输出缓冲区发送给客户端，这种属于非阻塞的方式，一瞬间可能有多个指令到达，所以需要指定缓冲区大小。
如何解决输出缓冲区溢出
到这里其实我们已经能够得到输出缓冲区溢出的解决方案了
bigkey应当避免使用。
Monitor命令只在调试的时候使用，不能应用到生产。
合理设置输出缓冲区上限、持续写入时间上限以及持续写入内存容量上限。
主从集群中的缓冲区
除了输入缓冲区和输出缓冲区外在主从集群场景下还存在两种缓冲区，我们称为复制缓冲区和复制积压缓冲区，这两个缓冲区的溢出和输入输出缓冲区稍有不同。
复制缓冲区
复制缓冲区这个名词看着很陌生，但是我们之前在聊主从同步时讲过，主从全量同步期间从节点会加载主节点的RDB文件，这时主节点同样还能写入数据，但是从节点在加载RDB文件没办法实时同步，所以Redis就为每一个从节点开辟了一片空间，用来存放主从全量同步期间产生的操作命令，这就是replication buffer，也就是复制缓冲区。
复制缓冲区溢出
复制缓冲区什么时候会溢出呢？
当从节点在加载RDB文件这个过程中如果存在大量的写操作就会造成复制缓冲区内存溢出。
从节点加载RDB文件的时间过长。
发生溢出后，主节点会关闭与从节点的连接，导致全量同步失败。
解决复制缓冲区溢出
控制主节点实例的大小，减小生成的RDB文件，这样就能减少从节点加载RDB文件的时间，减小复制缓冲区的压力。
从节点其本质就是主节点的特殊客户端，所以使用的是输出缓冲区（也就是指replication buffer），可以设置client-output-buffer-limit replica 256mb 64mb 60扩大缓冲区大小。
注意：主节点上的复制缓冲区会为每一个从节点分配一个，那么从节点的数量过多即使每个从节点没有达到maxmemory，但累加的结果也会给主节点带来内存压力。
复制积压缓冲区
复制积压缓冲区溢出
主从集群在写操作时会将操作写入复制缓冲区和复制积压缓冲区中，一旦网络发送故障后恢复连接，在2.8版本之前主从节点会进行全量同步开销非常大，所以2.8版本后还是采用了增量同步，仅仅将网络断开这段时间的操作同步给从节点，所以在网络恢复连接后从节点会将自己的复制偏移量slave_repl_offset发送给主节点，主节点将自身的写入偏移量master_repl_offset和slave_repl_offset在复制积压缓冲区中做对比得到网络断连期间的操作。
复制积压缓冲区又叫repl_backlog_buffer，是一个环形缓冲区，同步示意图如下。
复制积压缓冲区溢出其实也就是因为复制积压缓冲区是一个有限环形结构，一般主节点写入偏移量要大于从节点的读取偏移量，但如果写入偏移量覆盖了从节点的读取偏移量这就引发了复制积压缓冲区溢出。
解决复制积压缓冲区溢出
一般是调整repl_backlog_size这个参数的大小，扩大复制积压缓冲区的大小，减小主节点写入偏移量覆盖从节点读取偏移量的风险。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition