零基础学AI大模型之LangChain PyPDFLoader实战与PDF图片提取全解析

# 安装pypdf（推荐3.0.0+版本）
pip install pypdf>=3.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装LangChain社区版（包含PyPDFLoader）
pip install langchain-community -i https://pypi.tuna.tsinghua.edu.cn/simple

from langchain_community.document_loaders import PyPDFLoader

# 1. 初始化加载器（传入PDF文件路径，支持相对路径/绝对路径）
# 相对路径：相对于当前代码文件的路径（如data/test.pdf）
# 绝对路径：如"C:/docs/test.pdf"（Windows）或"/home/user/docs/test.pdf"（Linux）
loader = PyPDFLoader("data/test.pdf")

# 2. 加载所有页面（返回Document对象列表）
pages = loader.load()

# 3. 查看基础信息
print(f" PDF总页数：{len(pages)}")  # 输出总页数
print(f"\n 第一页元数据：{pages[0].metadata}")  # 元数据（source、page等）
print(f"\n 第一页前200字符预览：\n{pages[0].page_content[:200]}...")  # 文本预览

 PDF总页数：10
 第一页元数据：{'source': 'data/test.pdf', 'page': 1}
 第一页前200字符预览：
LangChain PyPDFLoader实战指南
1. 概述
PyPDFLoader是LangChain社区版中用于解析PDF文件的核心加载器，支持按页拆分、元数据保留...

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("data/test.pdf")

# 加载第2-4页（索引1、2、3）
target_pages = loader.load([1, 2, 3])

# 验证结果
for idx, page in enumerate(target_pages):
    print(f" 第{idx+2}页元数据：{page.metadata}")  # 页码应为2、3、4
    print(f"第{idx+2}页前100字符：{page.page_content[:100]}...\n")

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("data/test.pdf")
pages = loader.load()

# 合并所有页面文本（用两个换行符分隔页面，避免文本粘连）
full_text = "\n\n".join([page.page_content for page in pages])

# 查看合并结果
print(f" 合并后全文总字符数：{len(full_text)}")
print(f"\n 全文前500字符预览：\n{full_text[:500]}...")

# 合并时去除每页开头的重复页眉（示例：页眉为"LangChain指南"）
full_text = "\n\n".join([page.page_content.replace("LangChain指南", "") for page in pages])

from PyPDF2 import PdfReader, PdfWriter
from langchain_community.document_loaders import PyPDFLoader
import os

# 1. 解密PDF并保存为临时文件
def decrypt_pdf(input_path, output_path, password):
    reader = PdfReader(input_path)
    if reader.is_encrypted:
        reader.decrypt(password)  # 传入PDF密码
    # 保存解密后的文件
    writer = PdfWriter()
    for page in reader.pages:
        writer.add_page(page)
    with open(output_path, "wb") as f:
        writer.write(f)
    print(f" 解密后的PDF已保存至：{output_path}")

# 2. 解密并加载
decrypt_pdf(
    input_path="data/encrypted_test.pdf",  # 加密PDF路径
    output_path="data/decrypted_test.pdf",  # 解密后保存路径
    password="123456"  # PDF密码
)

# 3. 用PyPDFLoader加载解密后的文件
loader = PyPDFLoader("data/decrypted_test.pdf")
pages = loader.load()
print(f" 解密后PDF总页数：{len(pages)}")

from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1. 加载PDF
loader = PyPDFLoader("data/test.pdf")
pages = loader.load()

# 2. 初始化文本分割器（核心参数说明）
text_splitter = RecursiveCharacterTextSplitter(
    separators=["\n\n", "\n", "."],  # 优先按段落（\n\n）、再按换行（\n）、最后按句号（.）分割
    chunk_size=500,  # 每个块的最大字符数（根据大模型上下文窗口调整，如GPT-3.5用500-1000）
    chunk_overlap=50,  # 块之间的重叠字符数（避免上下文丢失，如前块结尾50字符与后块开头重叠）
    length_function=len  # 字符数计算方式（默认len，即按字符数）
)

# 3. 执行分块
split_docs = text_splitter.split_documents(pages)

# 4. 查看分块结果
print(f" 原始页面数：{len(pages)}")
print(f" 分块后总块数：{len(split_docs)}")
print(f"\n 第一个块内容：\n{split_docs[0].page_content}")
print(f"\n 第一个块元数据（含页码）：{split_docs[0].metadata}")

# 安装rapidocr-onnxruntime（首次安装会自动下载小模型，耗时约1-2分钟）
pip install rapidocr-onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

from langchain_community.document_loaders import PyPDFLoader

# 关键：初始化时设置extract_images=True，启用图片提取
loader = PyPDFLoader("data/pdf-img.pdf", extract_images=True)

# 加载页面（图片中的文本会自动嵌入到page_content中）
pages = loader.load()

# 查看结果（图片中的文本会跟在该页原有文本后）
print(f" 总页数：{len(pages)}")
print(f"\n 包含图片的页面内容（前500字符）：\n{pages[0].page_content[:500]}...")

from langchain_community.document_loaders import PyPDFLoader
import os

# 目标文件夹路径
pdf_folder = "docs/"
# 存储所有PDF的页面
all_pages = []

# 遍历文件夹中的所有文件
for filename in os.listdir(pdf_folder):
    # 仅处理后缀为.pdf的文件
    if filename.lower().endswith(".pdf"):
        # 拼接完整文件路径
        pdf_path = os.path.join(pdf_folder, filename)
        try:
            # 加载当前PDF
            loader = PyPDFLoader(pdf_path)
            pages = loader.load()
            all_pages.extend(pages)
            print(f" 成功加载：{filename}（{len(pages)}页）")
        except Exception as e:
            # 捕获异常，避免单个文件错误导致整个批量任务失败
            print(f" 加载{filename}失败：{str(e)}")

# 查看批量加载结果
print(f"\n 批量加载完成：共加载{len(all_pages)}页PDF")
# 合并所有文本（可选）
full_text = "\n\n".join([page.page_content for page in all_pages])
print(f" 所有PDF合并后总字符数：{len(full_text)}")

from concurrent.futures import ThreadPoolExecutor

def load_single_pdf(pdf_path):
    """单个PDF加载函数（供多线程调用）"""
    try:
        loader = PyPDFLoader(pdf_path)
        pages = loader.load()
        print(f" 成功加载：{os.path.basename(pdf_path)}（{len(pages)}页）")
        return pages
    except Exception as e:
        print(f" 加载{os.path.basename(pdf_path)}失败：{str(e)}")
        return []

# 多线程批量加载（设置最大线程数为4，避免资源占用过高）
with ThreadPoolExecutor(max_workers=4) as executor:
    # 获取所有PDF路径
    pdf_paths = [os.path.join(pdf_folder, f) for f in os.listdir(pdf_folder) if f.lower().endswith(".pdf")]
    # 批量执行
    results = executor.map(load_single_pdf, pdf_paths)
    # 合并结果
    all_pages = [page for result in results for page in result]