核心概念速查
- Shuffle：按 key 重新分区，网络与磁盘成本通常最高。
- Straggler：最慢任务决定作业完成时间（makespan）。
- Salting：给热 key 加随机盐打散，再二次聚合。
- Lambda / Kappa：批+流双链路 vs 尽量统一为流。
实践与应用 · 第 2 章路径 8/8本章完成 0%分布式MapReduce流处理
可用 ← → 键切换主题
批与流
吞吐 · 延迟 · 完整性
何时用什么
- Spark：大规模批处理、交互式分析、湖仓 ETL。
- Flink：低延迟流、精确一次状态计算、CEP。
- Kafka：事件总线与缓冲，衔接批/流消费端。
- 先定 SLA（延迟 / 吞吐 / 完整度），再选引擎。
大数据基础检查点
学完演示后来检验一下。全部答对即可标记本章测验通过。
1. 什么时候更该考虑离开单机？
2. MapReduce 中 Shuffle 阶段主要做什么？
3. 数据倾斜常见表现是？
与数据工程 / AI 的联系
- 特征与样本管道：训练前的清洗、聚合、join 往往比模型本身更耗资源，大数据基础决定 ML 能不能按时跑完。
- 批流一体：离线训练常用批，在线特征与监控常用流；同一语义用两套引擎时要警惕口径漂移。
- 倾斜与热点：推荐、日志、点击流里的热 key 会拖垮作业，调参前先看分区直方图。