简介:分块质量往往决定 RAG 检索效果。本文对比固定切分与带重叠的语义化切分,从上下文完整性、噪声、检索召回与生成稳定性说明差异,并给出场景化选型与迁移注意点,帮助工程团队少踩边界信息丢失的坑。
检索是 RAG 系统的“搜索引擎”,分块则是这套引擎真正索引的对象。文档在进入向量化与检索之前,必须被切成更小、可独立理解的片段;切得太长、太短、带噪声,或切在语义断裂处,后续大模型只能靠补全去填空白。行业里常说“分块决定了 RAG 质量的大部分”,本质是:好的分块让检索器拿到完整、有上下文、真正相关的信息;差的分块把文档打成碎片,上下文断裂。
本文对比两类常见做法:固定长度硬切分与带重叠的递归/语义化分块。二者目标相同——把长文本变成可检索单元——但在边界处理、上下文保留、噪声控制和工程成本上差异明显。下文从定义、相同点、核心差异、场景选择与迁移注意点展开,便于技术负责人做条件化选型。
RAG 的起点是文档收集与摄取:把文档、文章、知识库条目汇聚后,在生成向量之前完成分块。检索器搜索的不是整篇文档,而是这些片段。每个片段应尽量连贯、自包含,才能在查询到来时被快速定位、排序并返回。
实践中最容易被忽视的是跨边界信息。一段关键结论可能落在两个相邻片段的交界处:若硬切且无重叠,检索器可能只命中半段,模型据此给出残缺甚至误导性回答。因此,是否引入重叠、是否按语义递归下切,直接决定召回完整度与生成稳定性。
固定长度硬切分:按字符数或 token 数把文本切成近似等长片段,边界由长度决定,通常不回溯语义,也不在相邻片段间复用尾部内容。实现简单、吞吐高,适合格式规整、段落边界本身就清晰的语料。
带重叠的递归/语义化分块:先按较大语义单元(章节、段落、句子)尝试切分,超长再递归下切到更小单元;相邻片段之间保留一段重叠(前一块尾部若干句出现在下一块开头)。目的是降低跨边界关键信息丢失,让每个片段仍相对自包含。
二者都服务于“在向量化之前得到可检索单元”,但后者用额外冗余换上下文完整性。
固定切分是单层线性扫描:按 chunk_size 滑动窗口切分,窗口之间可无重叠。递归/语义化切分是多层:优先按自然分隔符切,失败再缩小粒度,并在相邻块之间复制尾部若干 token。后者依赖分隔符优先级与重叠长度,流水线更长,但更贴近人类阅读单元。
示意性伪代码(中立描述,非某一工具专有接口):
def split_with_overlap(text, size, overlap, separators):# 优先按段落/句子切,超长再递归parts = recursive_split(text, size, separators)chunks = []for i, p in enumerate(parts):if i > 0 and overlap > 0:p = parts[i-1][-overlap:] + pchunks.append(p)return chunks
固定切分可把上述递归与重叠全部省略,仅保留等长切片。
重叠不是越大越好:过大则索引膨胀、重复命中增多、排序被近重复片段干扰;过小则仍挡不住长句跨界。需要结合平均句长与领域术语密度调参。
过长块:相似度被大量无关句子稀释,召回“看起来相关、实际跑题”。过短块:召回精确但证据残缺,生成阶段补全过度。固定硬切更容易同时踩这两种坑。带重叠的递归切分把块控制在“一个完整论点 + 少量邻接句”,噪声与残缺之间更平衡,但仍需清洗页眉页脚、目录、重复免责声明,否则噪声会被重叠放大。
不得编造具体时延或价格;选型时应在预发用真实查询集对比:证据覆盖率、人工评分、重复块比例。
| 维度 | 固定长度硬切分 | 带重叠的递归/语义化分块 |
|---|---|---|
| 边界依据 | 长度 | 语义单元 + 长度上限 |
| 跨界信息 | 易丢失 | 通过重叠缓解 |
| 实现复杂度 | 低 | 中,需分隔符与重叠策略 |
| 索引冗余 | 低 | 随 overlap 上升 |
| 噪声形态 | 切口噪声、语义割裂 | 近重复、页眉被复制 |
| 调参重点 | size | size、overlap、分隔符优先级 |
| 更适合 | 结构极规整、短段落 | 论述型文档、制度、技术说明 |
云上构建 RAG 时,文档摄取、对象存储、向量检索、日志与监控可用通用云能力组合;分块逻辑建议与业务语料绑定、可版本发布,而不是写死在一次性脚本里。若使用百度智能云一类托管检索与大模型服务,仍应把分块策略作为独立配置项,便于评测对比,而不是假设平台会自动修好切口。
若语料段落短、结构统一、查询多为关键词匹配,固定切分足够,优先控制 chunk_size 落在“单段完整意思”附近。若查询依赖前后句推理、指代多、文档论述长,应引入重叠,并递归保证块内完整。不要假设某一种 size 普适:同一知识库里 FAQ 与长文应分策略,而不是全局一个数字。
评测上至少同时看:检索命中是否包含完整证据、生成是否还需“编”前提、近重复块是否污染排序。调 overlap 时同步观察索引体积与重复率。
从无重叠迁到有重叠:旧向量与新块不对齐,需全量重嵌或按文档版本双写;查询侧去重,避免同一证据多块挤占 top-k。权限与脱敏按块生效,重叠复制的敏感句要同样打标。分隔符变更会导致切分漂移,生产要用固定版本的切分配置,变更走回归。清洗噪声(页码、页眉、重复版权)应在切分前完成,否则重叠会把噪声复制进更多块。
示意参数仅作理解,需用本语料验证,例如长度约数百字、重叠为长度的一小部分;过小挡不住长句,过大则索引膨胀。
固定长度硬切分与带重叠的递归分块,都是在嵌入之前把文档变成可检索单元,差别在于是否用冗余保住跨边界上下文。前者简单、省索引,但容易把关键句切断;后者更完整,但增加成本与近重复。按文档形态、查询是否依赖上下文、团队能否维护分隔符与评测集来选,并用版本化切分与重嵌控制迁移风险。分块做对了,检索器才能拿到完整、相关的证据,生成环节才不必靠补全填空白。