FIELD ATLAS · LEARNING LIBRARY
大数据处理与数据仓库实验实训案例库
从一条数据出发，看懂它怎样进入系统、流经计算，最后成为可用指标
以 8 个可在单机运行的 Python Notebook 和 8 份配套课件为主线，拆解 HDFS、MapReduce、Spark、Flink、Hive、Kafka 与数据平台调度。
EXPLORE BY TOPIC
选择一个主题开始
每个主题都有独立页面，内容、方法和关联资料各自成组。
课程导览
先看清八个实验如何串成一条从存储到治理的学习路线。
进入主题 ↗01 条内容大数据体系与 HDFS
理解分块、副本、NameNode/DataNode 和读写路径。
进入主题 ↗01 条内容MapReduce
手写 Map、Shuffle、Reduce，观察词频、TopN 和均值的计算边界。
进入主题 ↗01 条内容Spark 核心与 RDD
用迷你 RDD 观察惰性求值、血缘、宽窄依赖和 Cache。
进入主题 ↗01 条内容Flink 与实时计算
从事件时间、窗口和 Watermark 进入有状态流处理。
进入主题 ↗01 条内容Hive 与数仓建模
用 sqlite3 跑一遍 ODS、DWD、DWS、ADS 四层分层。
进入主题 ↗01 条内容Kafka 与数据管道
模拟 Topic、Partition、Offset、消费者组和 Rebalance。
进入主题 ↗01 条内容数据平台与调度
手写 DAG、拓扑排序、失败重试与表级血缘。
进入主题 ↗01 条内容面试冲刺与高频题
用全链路串讲、TopN 和两阶段聚合收束知识。
进入主题 ↗FEATURED CONTENT
从具体内容进入
大数据体系与 HDFS：分块、副本与读写路径
把文件分成块、放置副本并模拟 NameNode/DataNode 的读写协作。
查看内容 ↗case-01-mapreduce · 基础MapReduce：从词频统计看懂 Shuffle
手写 Map、Shuffle、Reduce，并对照 TopN 与均值的聚合边界。
查看内容 ↗case-02-spark · 基础Spark 核心与 RDD：惰性求值和血缘
用迷你 RDD 观察 Transformation、Action、宽窄依赖和 Cache。
查看内容 ↗case-03-flink · 进阶Flink 与实时计算：窗口、Watermark 与状态
用事件时间和乱序数据手写滚动/滑动窗口，解释迟到处理。
查看内容 ↗case-04-hive · 进阶Hive 与数仓建模：从 ODS 到 ADS
用 sqlite3 走完四层数仓、星型/雪花模型和拉链表。
查看内容 ↗case-05-kafka · 进阶Kafka 与数据管道：分区、Offset 与消费者组
模拟 key 路由、消费进度、Rebalance 和 ACK 可靠性语义。
查看内容 ↗A CLEAR WAY THROUGH THE MATERIAL
从一个主题开始，继续发现相关内容和资料。
内容按主题分开呈现；来源和公开状态由材料清单记录。