大数据处理基础（下）详解
学习笔记继续巩固蔡老师的课程知识点～IndexWorkflow设计模式发布／订阅模式CAP定理Lambda架构Kappa架构Workflow设计模式工作流系统（WorkflowSystem）是将多个不同的处理模块连接在一起，通过有向无环图（DirectedAcyclicGraph/DAG）得到所需结果的系统。4种WorkflowSystem的设计模式复制模式（CopierPattern）：将单个数据处理模块中的数据完整复制到两个或多个数据处理模块中，用于对同一数据集进行多种不同的数据处理转换。
学习笔记
继续巩固蔡老师的课程知识点～
Index
- Workflow设计模式
- 发布／订阅模式
- CAP定理
- Lambda架构
- Kappa架构
Workflow设计模式
工作流系统（Workflow System）是将多个不同的处理模块连接在一起，通过有向无环图（Directed Acyclic Graph/DAG）得到所需结果的系统。
4种 Workflow System的设计模式
- 复制模式（Copier Pattern）：将单个数据处理模块中的数据完整复制到两个或多个数据处理模块中，用于对同一数据集进行多种不同的数据处理转换。
- 过滤模式（Filter Pattern）：过滤掉不符合条件的数据，用于针对数据集中的特定数据进行处理。
- 分离模式（Splitter Pattern）：对数据集中的不同数据分别进行处理，分组但不过滤数据，同一数据可划分到不同处理模块。
- 合并模式（Joiner Pattern）：将多个不同的数据集转换集中在一起，形成一个总数据集，并在工作流中处理。
发布/订阅模式（Publish/Subscribe Pattern）
这是在流数据处理中非常流行的设计模式，也被称为 Pub/Sub。
消息与消息队列
- 消息：在分布式架构中，各组件（如后台数据库、前端浏览器）通过消息进行通讯，消息格式任意。
- 消息队列：在 Pub/Sub 中，消息队列作为持久化缓冲（Durable Buffer），保存消息直到接收方确认收到。
发布／订阅模式基础概念
发布／订阅模式允许消息发送方异步发送消息给系统中的不同组件，无需知道接收方是谁。发送方称为发布者（Publisher），接收方称为订阅者（Subscriber）。
优点
- 松耦合（Loose Coupling）：发布者与订阅者在开发时无需事先知道对方的存在，可以独立开发。
- 高伸缩性（High Scalability）：消息队列可以独立作为数据存储中心存在，适合分布式环境。
- 组件间通信更简洁：只需定义好消息格式，订阅者即可按此格式接收消息。
缺点
- 不能保证发布者发送的数据一定会送达订阅者，需开发者实现响应机制。
适用场景
- 发送方需要向大量接收方广播消息。
- 组件需要与多个独立开发的组件或服务通信，这些组件或服务使用不同编程语言和通信协议。
- 发送方在发送消息后无需接收方实时响应。
- 对数据一致性的要求只需最终一致性（Eventual Consistency）。
CAP定理
简单来说，CAP定理证明了以下三属性：
- C属性（一致性）：所有分布式操作都像在单机上完成一样。
- A属性（可用性）：在分布式系统中，任意非故障服务器都必须对客户请求产生响应。
- P属性（分区容错性）：即使部分节点之间无法连通，系统也必须能够返回消息。
衍生的系统
- CP系统：Google BigTable、Hbase、MongoDB、Redis、MemCacheDB
- AP系统：Amazon Dynamo、Apache Cassandra、Voldemort
- CA系统：Apache Kafka
放弃了P属性的Kafka
Kafka0.8版本引入了Replication，通过将数据复制到不同节点增强数据的持久性（Durability）和可用性（Availability）。所有数据日志存储在同一个数据中心，网络分区错误可能性小。
在Kafka数据副本（Data Replication）设计中，通过Zookeeper选举出领导者节点（Leader），负责维护同步数据副本（In-sync-replica）。数据写入在领导者节点记录，通知副本存储并回复用户写入成功。如果领导者节点挂了，Zookeeper会重新选举健康节点作为新的领导者节点。
Lambda架构
Lambda架构帮助开发人员构建大规模分布式数据处理系统，具有灵活性和可扩展性，对硬件故障和人为失误有很好的容错性。
Lambda架构由三层系统组成：批处理层（Batch Layer）、速度处理层（Speed Layer）、服务层（Serving Layer）。
不同的系统层职责
- 批处理层：存储管理主数据集和预先批处理计算好的视图，计算历史数据，准确性高但实效性低。
- 速度处理层：实时处理新的大数据，提供实时视图，速度快但数据不是全量，参考价值有限。
- 服务层：接收批处理层和速度处理层的处理结果，响应用户查询。
案例分析
- 批处理层：使用停车场历史数据或每半小时获取的停车位数据，构建预测模型，预测剩余车位。
- 速度处理层：聚集用户GPS数据，建立预测模型，预测附近停车场拥挤程度。
- 服务层：结合批处理层和速度处理层的预测分数，将最高分数的停车场推荐给用户，提高推荐准确率。
Kappa架构
Kappa架构因Lambda架构维护复杂而存在，因为Lambda架构有两个完全不同的分布式系统（批处理和流处理），语法不同但逻辑需相同。
Kappa架构改进了某一层的架构，使其具有另一层的特性。
以Apache Kafka流处理平台为例：
由于Apache Kafka具有永久保存数据日志的功能，可以删除批处理层，仅保留流处理层。
步骤
- Step1：部署Apache Kafka，设置数据日志保留期（Retention Period）为Forever。
- Step2：重新启动Apache Kafka作业实例，从头开始计算保存的历史数据，将结果输出到新数据视图中。
- Step3：当新数据视图处理进度赶上旧数据视图时，应用切换到从新数据视图读取。
- Step4：停止旧版本作业实例，删除旧数据视图。
其架构如下图所示：
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。