如何解决MySQL中主从延迟与读写分离的问题
前言：我们都知道互联网数据有个特性，大部分场景都是读多写少，比如：微博、微信、淘宝电商，按照二八原则，读流量占比甚至能达到90%。结合这个特性，我们对底层的数据库架构也会做相应调整。采用读写分离。处理过程：客户端会集成SDK，每次执行SQL时，会判断是写或读操作。如果是写SQL，请求会发到主库。主数据库执行SQL，事务提交后，会生成binlog，并同步给从库。从库通过SQL线程回放binlog，并在从库表中生成相应数据。如果是读SQL，请求会通过负载均衡策略，挑选一个从库处理用户请求。看似非常合理，细想却
前言：
我们都知道互联网数据有个特性，大部分场景都是 读多写少，比如：微博、微信、淘宝电商，按照 二八原则，读流量占比甚至能达到 90%。
结合这个特性，我们对底层的数据库架构也会做相应调整。采用 读写分离。
处理过程：
客户端会集成 SDK，每次执行 SQL 时，会判断是 写 或 读 操作。
如果是 写 SQL，请求会发到 主库。
主数据库执行SQL，事务提交后，会生成 binlog ，并同步给 从库。
从库 通过 SQL 线程回放 binlog ，并在从库表中生成相应数据。
如果是 读 SQL，请求会通过 负载均衡 策略，挑选一个 从库 处理用户请求。
看似非常合理，细想却不是那么回事。
主库 与 从库 是采用异步复制数据，如果这两者之间数据还没有同步怎么办?
主库刚写完数据，从库还没来得及拉取最新数据，读 请求就来了，给用户的感觉，数据丢了?
针对这个问题，今天，我们就来探讨下有什么解决方案?
一、强制走主库
针对不用的业务诉求，区别性对待。
场景一：
如果是对数据的 实时性 要求不是很高，比如：大V有千万粉丝，发布一条微博，粉丝晚几秒钟收到这条信息，并不会有特别大的影响。这时，可以走 从库。
场景二：
如果对数据的 实时性 要求非常高，比如金融类业务。我们可以在客户端代码标记下，让查询强制走主库。
二、从库延迟查询
由于主从库之间数据同步需要一定的时间间隔，那么有一种策略是延迟从从库查询数据。
比如：
select sleep(1) select * from order where order_id=11111;
在正式的业务查询时，先执行一个sleep 语句，给从库预留一定的数据同步缓冲期。
因为是采用一刀切，当面对高并发业务场景时，性能会下降的非常厉害，一般不推荐这个方案。
三、判断主从是否延迟?决定选主库还是从库
之前写过一篇文章 《京东一面：MySQL 主备延迟有哪些坑?主备切换策略 》。
有讲过 什么是主备延迟?、主备延迟的常见原因?
方案一：
在从库 执行 命令 show slave status。
查看seconds_behind_master 的值，单位为秒，如果为 0，表示主备库之间无延迟。
方案二：
比较主从库的文件点位。
还是执行show slave status，响应结果里有截个关键参数。
Master_Log_File 读到的主库最新文件。
Read_Master_Log_Pos 读到的主库最新文件的坐标位置。
Relay_Master_Log_File 从库执行到的最新文件。
Exec_Master_Log_Pos 从库执行到的最新文件的坐标位置。
两两比较，上面的参数是否相等。
方案三：
比较 GTID 集合。
Auto_Position=1 主从之间使用 GTID 协议。
Retrieved_Gtid_Set 从库收到的所有binlog日志的 GTID 集合。
Executed_Gtid_Set 从库已经执行完成的 GTID 集合。
比较 Retrieved_Gtid_Set 和 Executed_Gtid_Set 的值是否相等。
在执行业务SQL操作时，先判断从库是否已经同步最新数据。从而决定是操作主库，还是操作从库。
缺点：
无论采用上面哪一种方案，如果主库的写操作频繁不断，那么从库的值永远跟不上主库的值，那么读流量永远是打在了主库上。
1.针对这个问题，有什么解决方案?
这个问题跟 MQ消息队列 既要求高吞吐量又要保证顺序是一样的，从全局来看确实无解，但是缩小范围就容易多了，我们可以保证一个分区内的消息有序。
回到 主从库 之间的数据同步问题，从库查询哪条记录，我们只要保证之前对应的写binglog已经同步完数据即可，可以不用管主从库的所有的事务binlog 是否同步。
问题是不是一下简单多了。
四、从库节点判断主库位点
在从库执行下面命令，返回是一个正整数 M，表示从库从参数节点开始执行了多少个事务。
select master_pos_wait(file, pos[, timeout]);
file 和 pos 表示主库上的文件名和位置。
timeout 可选， 表示这个函数最多等待 N 秒。
缺点：
master_pos_wait 返回结果无法与具体操作的数据行做关联，所以每次接收读请求时，从库还是无法确认是否已经同步数据，方案实用性不高。
五、比较 GTID
执行下面查询命令：
阻塞等待，直到从库执行的事务中包含
gtid_set，返回 0。超时，返回 1。
select wait_for_executed_gtid_set(gtid_set, 1);
MySQL 5.7.6 版本开始，允许在执行完更新类事务后，把这个事务的 GTID 返回给客户端。具体操作，将参数session_track_gtids 设置为OWN_GTID，调用 API 接口mysql_session_track_get_first 返回结果解析出 GTID。
处理流程：
发起 写 SQL 操作，在主库成功执行后，返回这个事务的 GTID。
发起 读 SQL 操作时，先在从库执行
select wait_for_executed_gtid_set (gtid_set, 1)。如果返回 0，表示已经从库已经同步了数据，可以在从库执行 查询 操作。
否则，在主库执行 查询 操作。
缺点：
跟上面的 master_pos_wait 类似，如果 写操作 与 读操作 没有上下文关联，那么 GTID 无法传递 。方案实用性不高。
六、引入缓存中间件
高并发系统，缓存作为性能优化利器，应用广泛。我们可以考虑引入缓存作为缓冲介质。
处理过程：
客户端 写 SQL ，操作主库。
同步将缓存中的数据删除。
当客户端读数据时，优先从缓存加载。
如果 缓存中没有，会强制查询主库预热数据。
缺点：
K-V 存储，适用一些简单的查询条件场景。如果复杂的查询，还是要查询从库。
七、数据分片
参考 Redis Cluster 模式， 集群网络拓扑通常是 3主 3从，主节点既负责写，也负责读。
通过水平分片，支持数据的横向扩展。由于每个节点都是独立的服务器，可以提高整体集群的吞吐量。
1.转换到数据库方面
常见的解决方式，是分库分表，每次读写都是操作主库的一个分表，从库只用来做数据备份。当主库发生故障时，主从切换，保证集群的高可用性。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，