[TOC] ## Kappa架构 * **核心思想**: “流批一体”（Stream as a single source of truth）。Kappa 架构认为所有数据本质上都是流。批处理只是流处理的一个特例，即处理历史数据流。 * **设计原则**: 仅使用一个流处理引擎来处理所有数据。 * **架构图**: * **数据源** -> **消息队列**（如 Apache Kafka）-> **流处理引擎**（如 Apache Flink, Apache Spark Streaming）-> **数据存储/服务层**。 * 与 Lambda 架构最大的区别在于，它**取消了独立的批处理层**。 ## 适合场景 场景： ### 1\. 实时性要求高的业务 Kappa 架构天生就是为实时数据处理设计的。它将所有数据都视为连续的事件流，因此能提供极低的延迟，非常适合需要快速响应的业务场景。 * **实时推荐系统**：根据用户实时点击、浏览行为，立即更新推荐列表。 * **金融欺诈检测**：持续监控交易流，在可疑行为发生时立刻发出警报。 * **物联网（IoT）数据处理**：处理来自传感器的大量连续数据，用于实时监控、异常检测和设备控制。 * **网站点击流分析**：实时分析用户在网站上的行为路径，提供即时洞察，用于个性化广告或内容。 ### 2\. 追求架构和开发简化的场景 与 Lambda 架构相比，Kappa 架构最大的优势在于其单一的处理管道。 * **统一的代码库**：开发人员只需要用一种技术和一套代码来处理所有数据，无论是新数据还是历史数据。这大大减少了开发和维护的复杂性、降低了人力成本。 * **持续的数据重处理**：当业务逻辑或处理算法需要更新时，Kappa 架构可以通过重放（replaying）历史数据流来重新计算所有结果，从而确保新旧数据都使用相同的逻辑进行处理，避免了数据不一致的问题。 ### 3\. 事件驱动型应用 Kappa 架构基于\*\*事件流（event stream）\*\*的概念，这使其非常适合构建现代的、基于事件驱动的系统。 * **微服务架构**：不同的微服务可以通过消息队列（如 Apache Kafka）进行通信，Kappa 架构可以轻松地处理和整合这些服务产生的事件流。 * **日志和事件处理**：实时收集和分析应用程序日志、用户活动事件或服务器指标，用于监控、故障诊断和业务分析。