零基础学AI大模型之RAG系统链路构建：文档切割转换全解析

from langchain_text_splitters import TextSplitter
from abc import ABC, abstractmethod
from typing import Callable, List, Union

class TextSplitter(BaseDocumentTransformer, ABC):
    """Interface for splitting text into chunks."""
    def __init__(
        self,
        chunk_size: int = 4000,  # 文本块最大长度（默认字符数，部分子类支持token数）
        chunk_overlap: int = 200,  # 相邻块重叠长度（保留上下文）
        length_function: Callable[[str], int] = len,  # 长度计算函数（默认字符数，可改用token计数）
        keep_separator: Union[bool, Literal["start", "end"]] = False,  # 是否保留分隔符（如句号、换行）
        add_start_index: bool = False,  # 是否添加文本块在原始文档中的起始索引
        strip_whitespace: bool = True,  # 是否去除文本块前后空格
    ) -> None:
        ...

    @abstractmethod
    def split_text(self, text: str) -> List[str]:
        """基础文本分割方法，子类必须实现"""
        ...

from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载后的产品手册文本（假设已用PyPDFLoader加载为Document对象）
product_manual_doc = [
    Document(
        page_content="深度学习需要大量数据和计算资源。卷积神经网络（CNN）在图像处理中表现优异，常用于图像分类、目标检测等场景。循环神经网络（RNN）则更适合序列数据，如自然语言处理、时间序列预测。",
        metadata={"source": "产品手册.pdf", "page": 5}
    )
]

# 设置chunk_size=100（字符数），适配中等上下文窗口模型
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    strip_whitespace=True
)

# 分割文档（自动继承元数据）
split_docs = text_splitter.split_documents(product_manual_doc)

# 输出结果（2个文本块，均含元数据）
for doc in split_docs:
    print(f"文本块：{doc.page_content}")
    print(f"元数据：{doc.metadata}\n")

# 输出：
# 文本块：深度学习需要大量数据和计算资源。卷积神经网络（CNN）在图像处理中表现优异，常用于图像分类、
# 元数据：{'source': '产品手册.pdf', 'page': 5}
# 
# 文本块：计算资源。卷积神经网络（CNN）在图像处理中表现优异，常用于图像分类、目标检测等场景。循环神经网络（RNN）则更适合序列数据，
# 元数据：{'source': '产品手册.pdf', 'page': 5}

# 法律合同文本（加载后的Document对象）
legal_doc = Document(
    page_content="第一条 合同双方：甲方（供应商）：XX科技有限公司；乙方（采购方）：XX制造有限公司。第二条 采购标的：甲方为乙方提供AI服务器10台，型号为XX-2024，单价5万元/台，总金额50万元。第三条 交货时间：乙方支付预付款后30个工作日内交货。",
    metadata={"source": "采购合同.pdf", "page": 1}
)

# 自定义中文分隔符（优先按段落→条款→分号→句号分割）
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=150,
    chunk_overlap=20,
    separators=["\n\n", "第[一二三四五六七八九十]条", "；", "。", " "]  # 正则匹配中文条款
)

split_docs = text_splitter.split_documents([legal_doc])
for doc in split_docs:
    print(f"法律文本块：{doc.page_content}\n")

# 输出（按条款分割，语义完整）
# 法律文本块：第一条 合同双方：甲方（供应商）：XX科技有限公司；乙方（采购方）：XX制造有限公司。
# 
# 法律文本块：第二条 采购标的：甲方为乙方提供AI服务器10台，型号为XX-2024，单价5万元/台，总金额50万元。
# 
# 法律文本块：第三条 交货时间：乙方支付预付款后30个工作日内交货。