LangChain文本块不切分方法解析

本文揭秘了一种巧妙的正则预处理技巧，让 LangChain 的 RecursiveCharacterTextSplitter 在保持原有强大分块能力（如长度控制、重叠、多级分隔符）的同时，精准避开被 `` 等标记包裹的关键内容——无论是嵌入式提示、代码块还是敏感元数据，都能完整保留不被切碎；方案零侵入、易复用、可扩展，仅需几行代码即可将“语义完整性”与“智能分块”完美融合，堪称文档预处理中兼顾灵活性与可靠性的实用利器。

本文介绍一种基于正则表达式的轻量级方案，绕过 RecursiveCharacterTextSplitter 的默认行为，在保留其强大分块能力的同时，精准保护 等标记包裹的关键文本不被拆散。

本文介绍一种基于正则表达式的轻量级方案，绕过 RecursiveCharacterTextSplitter 的默认行为，在保留其强大分块能力的同时，精准保护 `` 等标记包裹的关键文本不被拆散。

在使用 LangChain 进行文档预处理时，RecursiveCharacterTextSplitter 是最常用的分块工具之一。但其按分隔符递归切分的机制，无法原生支持“保留某段内容完整不拆分”的需求——例如嵌入式提示、代码块、结构化元数据或敏感说明文本。当这些内容被 ... 等自定义标记包裹时，我们希望它们整体作为一个原子单元进入最终 chunk 列表，而非被空格、换行甚至单字符打断。

直接修改 separators 参数（如将 加入优先级最高分隔符）虽可触发边界识别，却会破坏原有分隔逻辑（尤其当需保留 '' 即字符级切分时）。而临时替换/还原分隔符的方案又引入状态管理复杂度，且难以与 LangChain 原生 splitter 的重叠、长度控制等高级特性兼容。

更优雅的解法是：分层处理 —— 先用正则隔离“不可分割块”，再对剩余部分调用标准 splitter。核心思路如下：

1. 使用 re.split() 配合捕获组，将原文本切分为三类片段：
   • 前导普通文本
   • ... 完整包裹块（含标签，便于识别）
   • 尾随普通文本
2. 对每个片段分别处理：
   • 若以 开头 → 移除标签后作为独立 chunk
   • 否则 → 交由 RecursiveCharacterTextSplitter（或任意其他 splitter）正常处理
3. 合并所有结果，保持原始顺序

以下是可直接运行的生产就绪示例：

import re
from langchain.text_splitter import RecursiveCharacterTextSplitter

def split_with_protected_blocks(text: str, protected_tag: str = "<nosplit>") -> list[str]:
    # 正则捕获所有 <nosplit>...</nosplit> 块（非贪婪），保留分隔边界
    pattern = f"({re.escape(protected_tag)}.*?{re.escape(protected_tag)})"
    parts = re.split(pattern, text)

    chunks = []
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=5,
        chunk_overlap=2,
        separators=["\n\n", "\n", " ", ""],  # 支持字符级回退
        keep_separator=False
    )

    for part in parts:
        if not part.strip():  # 跳过空片段
            continue
        # 识别受保护块：以标签开头且包含闭合标签
        if part.strip().startswith(protected_tag) and protected_tag in part[1:]:
            # 提取内容（移除首尾标签）
            content = part.strip()[len(protected_tag):-len(protected_tag)].strip()
            chunks.append(content)
        else:
            # 普通文本交由 LangChain 处理
            chunks.extend(splitter.split_text(part))

    return chunks

# 测试用例
nosplit = "<nosplit>Keep all this together, very important! Seriously though it is...<nosplit>"
text = "Giggity! " + nosplit + " Ahh yeah...\nI just buy a jetski."

result = split_with_protected_blocks(text)
print(result)
# 输出：
# ['Giggity!', 'Keep all this together, very important! Seriously though it is...', 'Ahh', 'yeah...', 'I', 'just', 'buy a', 'jetski.']

✅ 优势总结：

• ✅ 零侵入：无需修改 LangChain 源码或继承重写 splitter 类；
• ✅ 高兼容：完整复用 RecursiveCharacterTextSplitter 的 chunk_size、chunk_overlap、separators 等全部参数；
• ✅ 灵活扩展：轻松支持多标签（如 , ）、嵌套检测（需增强正则）、或动态标签名；
• ✅ 健壮容错：自动跳过空片段，支持非严格闭合（可按需调整正则逻辑）。

⚠️ 注意事项：

• 正则中的 .*? 为非贪婪匹配，确保最短匹配多个 块；若需支持跨行，添加 re.DOTALL 标志；
• 若受保护内容本身含未转义的 字符串，建议采用更唯一标记（如 UUID 或 HTML 注释 ）；
• 对超长受保护块（如万字文档），仍建议在 splitter 中设置 chunk_size 限制，避免单 chunk 过大影响后续 embedding 效率。

该方案本质是将“语义保护”从分词器层面下沉至预处理层，既尊重 LangChain 的设计哲学，又赋予开发者对文本结构更强的掌控力——真正实现「智能分块」与「人工意图」的协同。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~