课程总览｜大数据处理与数据仓库

本课程用可在普通电脑运行的 Python 模拟，带你拆解 HDFS、MapReduce、Spark、Flink、Hive、Kafka 与数据平台调度。八个实验沿着数据从存储、计算、建模、传输到应用的路径逐步展开。

推荐学习顺序

1. 先看 HDFS，理解数据分块、副本和读写；
2. 进入 MapReduce 与 Spark，学习批处理和内存计算；
3. 用 Flink 理解事件时间、窗口和 Watermark；
4. 用 Hive 完成 ODS、DWD、DWS、ADS 四层数仓；
5. 用 Kafka 与调度实验串起数据管道和任务治理；
6. 最后通过 TopN、两阶段聚合和高频题复盘全链路。

运行方式

网页中的 Notebook 是静态阅读预览，不会在浏览器执行。下载 Notebook 后，在本地 Python/Jupyter 环境安装 numpy、pandas、matplotlib 并运行。材料包中的样例由 Notebook 内构造，适合讲解系统机制，不代表真实生产集群的性能数据。

配套材料

每个实验提供一个 Notebook 和同编号课件；总览文档、面试题索引和逐题详解集中放在本课程导览页。