简介:湖仓一体并非某一项新技术的产物,而是数据架构在 Lambda、Kappa 之后为消除"湖与仓割裂"而演进出的一套折中方案:用开放表格式把数据仓库的 ACID、Schema 治理、SQL 分析能力下沉到数据湖之上。本文梳理这条演进路径、关键技术与选型要点,并说明在 AI 原生阶段,湖仓如何与大模型应用衔接——如果你正在为模型选型、价格对比和统一 API 接入做评估,可以先了解[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它是一个大模型撮合交易服务平台,能帮你把"数据侧选型"和"模型侧选型"放在同一张决策表里。
经典的 Lambda 架构由三层构成:
它的优点确实明显:技术栈成熟、案例多、能覆盖企业从早期到中后期的各类大数据场景。但问题同样明显—— 同一份业务逻辑要用两套代码实现两遍 (一套 SQL、一套流式作业),口径不一致、运维成本翻倍、线上线下结果对不上,数据校验和回溯几乎成为常态工作。
Kappa 架构的思路是”砍掉一层”:只保留流式链路,需要重算时把消息队列的数据重放(replay)一遍。它解决了双套代码的问题,但对历史数据的存储与回溯能力依赖消息中间件的保留时长,做长周期回溯、复杂多表关联分析时并不划算。
于是业界开始寻找第三条路: 保留数据湖的低成本、开放、存算分离特性,同时补齐数仓的表管理能力 。这就是湖仓一体(Lakehouse)的出发点。
数据湖原本只是”一堆文件”,缺少数据库语义。湖仓一体的关键,是在对象存储之上引入一层 开放表格式(Open Table Format)与元数据服务 ,把以下能力补齐:
| 能力 | 纯数据湖(HDFS/对象存储 + 文件) | 湖仓一体(Iceberg / Hudi / Delta / Paimon) |
|---|---|---|
| 事务(ACID) | 无,靠目录约定 | 快照级原子提交,支持并发读写 |
| Schema 管理 | 隐式、易漂移 | Schema 演进,支持列增删改 |
| 更新与删除 | 需重写分区 | Upsert / Merge Into / CDC 入湖 |
| 时间旅行与回溯 | 依赖备份 | 快照回滚、增量读取 |
| 多引擎共享 | 格式私有、绑定引擎 | 开放格式,Spark/Flink/Trino/Presto 共用一份数据 |
| 存储成本 | 低 | 低(列式 + 压缩 + 冷热分层) |
一句话概括: 湖仓一体 = 数据湖的开放与低成本 + 数据仓库的事务与治理能力 ,同时通过存算分离让存储与计算独立扩容。
1. 表格式怎么选
已有 Flink 为主的实时链路:Paimon 的流批一体体验更连贯。
2. 小文件与 Compaction 必须治理
流式写入天然产生大量小文件,直接拖垮查询性能。需要配置定期 compaction、快照过期清理、孤儿文件清理。以 Flink + Paimon 为例:
CREATE TABLE ods_order (order_id BIGINT,user_id BIGINT,status STRING,amount DECIMAL(18, 2),update_time TIMESTAMP(3),PRIMARY KEY (order_id) NOT ENFORCED) PARTITIONED BY (dt STRING) WITH ('bucket' = '8','changelog-producer' = 'lookup','snapshot.num-retained.min' = '10','snapshot.time-retained' = '1h');
3. 元数据与治理不能后置
统一元数据目录(Catalog)、血缘、权限、数据质量规则,应在第一张表之前就规划好,否则湖仓会重演”数据沼泽”。
4. 迁移路径建议
不要一次性重写。可行路径是:新业务直接落湖仓 → 存量离线任务逐步迁移到湖仓表 → 下线 Lambda 的速度层,让实时链路直接读写湖仓表,最终收敛为单一链路。
大模型应用落地时,数据侧的痛点与湖仓高度契合:
而模型侧同样面临”选型难、接入杂、成本不清”的问题:不同模型在效果、上下文长度、计费方式上差异明显,多模型接入往往要维护多套 SDK。这时可以借助词元所的模型选型与价格对比能力,横向比较不同大模型的调用成本与适用场景,再通过统一 API 接入方式降低集成复杂度,把精力集中在业务逻辑而非适配层。
湖仓一体的演进逻辑很清晰: 从”两套链路各算一遍”到”一份存储、多引擎共享、流批统一” 。它不是要否定 Lambda,而是用开放表格式把 Lambda 中重复的部分合并掉。对多数企业而言,务实的做法是先明确查询模式与更新频率,再选表格式,最后同步建设元数据与治理;在 AI 应用叠加之后,湖仓负责”数据可信”,大模型 API 服务平台负责”模型可用”,两者配合才是完整的 AI 数据技术栈。