KEEL · 龙骨 · A CURRICULUM FOR THE AI ERA
流式数据管道课：从业务库到分析表 — keel 龙骨
流式数据管道课：CDC、事件时间与数仓分层 的参考信息：流式数据管道课：从业务库到分析表
一条订单状态的变更，要多久才能在分析表里看到？答「等今晚批处理」，你会有十几小时的盲区；答「几百毫秒」，你就要为一个随时可能堆积、重复、乱序的链路负责。这门课讲中间那条路：让数据在业务库、消息队列、流引擎和分析存储之间流动，以及每个环节会怎么坏掉。
课程从 PostgreSQL 逻辑复制槽讲起——一条 UPDATE 在 WAL 里长什么样、为什么没人消费的槽能撑爆磁盘；再接到 Kafka，用 Kafka Connect 把 source/sink 的 offset 存储与 SMT 做实；然后是流处理最难的两件事：事件时间与水位线、状态快照与幂等写；最后落到数仓分层与 OLAP 选型。每章结论都有本机输出支撑：不消费的槽按每行约 160 字节堆积 WAL、Connect 重启后从 offset=3 续读、物化视图把 312 毫秒的聚合压到 0.018 毫秒。
这门课讲把系统连成管道，不是 Kafka 本身：Kafka 的存储、副本与事务语义在 《Kafka 工程课》 里，PostgreSQL 逻辑复制的原理在 《PostgreSQL 工程课》06 章 里。