RAG学习笔记（二）数据导入

from langchain_community.document_loaders import DirectoryLoader, TextLoader

# 定义包含公司规章制度和技术文档的目录
data_directory = "./company_knowledge_base/policies_and_tech_docs"

# 使用DirectoryLoader加载指定目录下的所有.txt文件
# loader_cls指定使用TextLoader来处理每个文件
loader = DirectoryLoader(data_directory, glob="**/*.txt", loader_cls=TextLoader)

# 加载文档，每个文件会生成一个Document对象
documents = loader.load()

print(f"成功加载了 {len(documents)} 份文本文件。")

# 打印其中一份文档的示例内容和元数据
if documents:
    sample_doc = documents[0]
print("\n--- 示例文档内容 ---")
print(sample_doc.page_content[:500]) # 打印前500字符
print("\n--- 示例文档元数据 ---")
print(sample_doc.metadata)

from langchain_community.document_loaders import JSONLoader
import json

# 模拟电商产品评论数据
product_reviews_data = [
    {
"review_id": "R001",
"product_id": "P101",
"user_id": "U001",
"rating": 5,
"comment": "这款智能手表太棒了！电池续航能力超乎想象，功能也很齐全，运动监测非常准确。",
"timestamp": "2024-05-10T10:00:00Z"
    },
    {
"review_id": "R002",
"product_id": "P101",
"user_id": "U002",
"rating": 2,
"comment": "手表外观很好看，但是心率监测数据总是不准，而且APP经常闪退，体验很差。",
"timestamp": "2024-05-11T11:30:00Z"
    },
    {
"review_id": "R003",
"product_id": "P102",
"user_id": "U003",
"rating": 4,
"comment": "蓝牙耳机音质不错，连接稳定，就是佩戴时间长了耳朵有点不舒服。",
"timestamp": "2024-05-12T14:00:00Z"
    }
]

# 将模拟数据写入JSON文件
withopen("product_reviews.json", "w", encoding="utf-8") as f:
    json.dump(product_reviews_data, f, ensure_ascii=False, indent=4)

# 使用JSONLoader加载数据，并使用jq_schema提取评论内容和相关信息
# 我们将评论内容作为page_content，并将产品ID、评分和评论ID作为元数据
loader = JSONLoader(
    file_path="product_reviews.json",
    jq_schema='.[].comment',
    metadata_func=lambda record, metadata: {
"product_id": record.get("product_id"),
"rating": record.get("rating"),
"review_id": record.get("review_id")
    }
)

reviews_docs = loader.load()

print(f"成功加载了 {len(reviews_docs)} 条产品评论。")

# 打印其中一条评论的示例内容和元数据
if reviews_docs:
    sample_review = reviews_docs[0]
print("\n--- 示例评论内容 ---")
print(sample_review.page_content)
print("\n--- 示例评论元数据 ---")
print(sample_review.metadata)

from langchain_community.document_loaders import WebBaseLoader
import bs4

# 假设一个在线技术文档的URL
tech_doc_url = "https://docs.example.com/latest/api-reference/authentication"

# 使用WebBaseLoader加载网页内容
# bs_kwargs可以用于传递BeautifulSoup的参数，例如指定解析器
loader = WebBaseLoader(
    web_paths=[tech_doc_url],
    bs_kwargs=dict(parse_only=bs4.SoupStrainer(["div", "article", "main"]))
)

docs = loader.load()

print(f"成功加载了 {len(docs)} 个网页文档。")

# 打印加载的文档内容和元数据
if docs:
    tech_doc = docs[0]
print("\n--- 示例网页文档内容 (部分) ---")
# 网页内容通常较长，这里只打印前500字符
print(tech_doc.page_content[:500])
print("\n--- 示例网页文档元数据 ---")
print(tech_doc.metadata)

from langchain_community.document_loaders import UnstructuredImageLoader
from langchain_core.documents import Document
import os

# 假设我们有一张模拟的发票图片（实际应用中需要真实的图片文件）
# 为了演示，我们假设图片中包含以下文本：
# "供应商: ABC建筑材料有限公司\n发票号码: INV-202405-001\n日期: 2024-05-15\n总金额: 12500.00 元\n商品明细:\n- 水泥 100袋 @ 50元/袋 = 5000.00\n- 钢筋 5吨 @ 1500元/吨 = 7500.00"

# 创建一个模拟的发票图片文件（实际操作中会是真实图片）
# 这里仅为演示目的，实际不会生成图片，而是假设图片已存在并可被OCR工具处理
# 例如，你可以使用Pillow库创建一个空白图片，然后用PIL.ImageDraw添加文本来模拟
# from PIL import Image, ImageDraw, ImageFont
# img = Image.new('RGB', (800, 600), color = (255, 255, 255))
# d = ImageDraw.Draw(img)
# d.text((50,50), "供应商: ABC建筑材料有限公司\n发票号码: INV-202405-001\n日期: 2024-05-15\n总金额: 12500.00 元", fill=(0,0,0))
# img.save("invoice_sample.png")

# 假设发票图片路径
invoice_image_path = "./invoice_sample.png"# 实际应用中替换为真实图片路径

# 使用UnstructuredImageLoader加载图片并进行OCR
# 注意：UnstructuredImageLoader需要安装tesseract-ocr和pytesseract
# pip install unstructured "unstructured[image]" pytesseract
# sudo apt-get install tesseract-ocr

# 为了演示，我们跳过实际的图片生成和OCR过程，直接模拟OCR结果
# 实际应用中，loader.load()会执行OCR并返回Document对象
# 这里我们手动创建一个Document对象来模拟OCR后的结果

# 模拟OCR提取的文本内容
simulated_ocr_content = "供应商: ABC建筑材料有限公司\n发票号码: INV-202405-001\n日期: 2024-05-15\n总金额: 12500.00 元\n商品明细:\n- 水泥 100袋 @ 50元/袋 = 5000.00\n- 钢筋 5吨 @ 1500元/吨 = 7500.00"

invoice_doc = Document(
    page_content=simulated_ocr_content,
    metadata={
"source": invoice_image_path,
"file_type": "image/png",
"extracted_by": "OCR"
    }
)

# 实际加载过程会是这样：
# loader = UnstructuredImageLoader(invoice_image_path)
# invoice_docs = loader.load()
# invoice_doc = invoice_docs[0] if invoice_docs else None

if invoice_doc:
print("\n--- 模拟发票OCR提取内容 ---")
print(invoice_doc.page_content)
print("\n--- 模拟发票元数据 ---")
print(invoice_doc.metadata)

# 进一步利用多模态大模型进行结构化信息提取（概念性代码，需要实际调用LLM API）
# from openai import OpenAI # 假设使用OpenAI API
# client = OpenAI()
# 
# def extract_invoice_details_with_llm(image_path, ocr_text):
#     response = client.chat.completions.create(
#         model="gpt-4o", # 或其他支持多模态的LLM
#         messages=[
#             {
#                 "role": "user",
#                 "content": [
#                     {"type": "text", "text": f"请从以下发票图片和OCR文本中提取关键信息，包括供应商名称、发票号码、日期、总金额和商品明细（名称、数量、单价、总价）。请以JSON格式返回。\nOCR文本：{ocr_text}"},
#                     {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{base64_encode_image(image_path)}"}}
#                 ]
#             }
#         ],
#         response_format={ "type": "json_object" }
#     )
#     return json.loads(response.choices[0].message.content)
# 
# # 假设 base64_encode_image 是一个将图片编码为base64字符串的函数
# # extracted_data = extract_invoice_details_with_llm(invoice_image_path, invoice_doc.page_content)
# # print("\n--- LLM提取的发票结构化数据 ---")
# # print(extracted_data)

from langchain_community.document_loaders import UnstructuredPDFLoader
from langchain_core.documents import Document
import os

# 假设我们有一个模拟的企业年度报告PDF文件
# 实际应用中，这个PDF文件会包含多页，有文本、表格和图表
# 为了演示，我们假设PDF中包含以下内容：
# 页面1：公司简介和2023年业绩概述
# 页面2：财务报表（表格形式）
# 页面3：市场份额图表和分析

# 创建一个模拟的PDF文件路径
annual_report_pdf_path = "./annual_report_2023.pdf"# 实际应用中替换为真实PDF路径

# 由于无法直接在沙盒中创建复杂的PDF文件，这里我们模拟UnstructuredPDFLoader的输出
# 假设它能提取出以下结构化内容
simulated_pdf_content = [
    Document(
        page_content="## 2023年公司年度报告\n\n### 业绩概述\n\n2023年，本公司在复杂多变的市场环境中取得了显著的业绩增长。全年实现营业收入XX亿元，同比增长YY%。净利润达到ZZ亿元，创历史新高。",
        metadata={
"source": annual_report_pdf_path,
"page": 1,
"category": "Title"
        }
    ),
    Document(
        page_content="| 项目 | 2023年 | 2022年 | 2021年 |\n|---|---|---|---|\n| 营业收入 | 100亿 | 80亿 | 60亿 |\n| 净利润 | 10亿 | 8亿 | 6亿 |\n| 研发投入 | 1.5亿 | 1.2亿 | 1亿 |",
        metadata={
"source": annual_report_pdf_path,
"page": 2,
"category": "Table"
        }
    ),
    Document(
        page_content="### 市场份额分析\n\n2023年，我们在A区域的市场份额增长了5%，B区域保持稳定，C区域略有下降。图表显示了各区域市场份额的详细分布。",
        metadata={
"source": annual_report_pdf_path,
"page": 3,
"category": "Text"
        }
    )
]

# 实际加载过程会是这样：
# loader = UnstructuredPDFLoader(annual_report_pdf_path, mode="elements") # mode="elements"尝试保留结构
# annual_report_docs = loader.load()

annual_report_docs = simulated_pdf_content # 使用模拟数据进行演示

print(f"成功加载了 {len(annual_report_docs)} 个PDF文档片段。")

# 打印加载的文档内容和元数据
for doc in annual_report_docs:
print("\n--- 文档片段内容 ---")
print(doc.page_content)
print("\n--- 文档片段元数据 ---")
print(doc.metadata)

from langchain_community.document_loaders import CSVLoader
import os

# 模拟供应链库存数据
# product_id,warehouse_location,current_stock,last_updated
# P001,Shanghai,1500,2024-06-10
# P002,Shenzhen,800,2024-06-10
# P001,Guangzhou,700,2024-06-09
# P003,Shanghai,50,2024-06-11
# P002,Chongqing,1200,2024-06-11

# 将模拟数据写入CSV文件
csv_data = """
product_id,warehouse_location,current_stock,last_updated
P001,Shanghai,1500,2024-06-10
P002,Shenzhen,800,2024-06-10
P001,Guangzhou,700,2024-06-09
P003,Shanghai,50,2024-06-11
P002,Chongqing,1200,2024-06-11
"""

withopen("supply_chain_inventory.csv", "w", encoding="utf-8") as f:
    f.write(csv_data)

# 使用CSVLoader加载CSV文件
loader = CSVLoader(file_path="supply_chain_inventory.csv")
inventory_docs = loader.load()

print(f"成功加载了 {len(inventory_docs)} 条库存记录。")

# 打印其中一条记录的示例内容和元数据
if inventory_docs:
    sample_inventory = inventory_docs[0]
print("\n--- 示例库存记录内容 ---")
print(sample_inventory.page_content)
print("\n--- 示例库存记录元数据 ---")
print(sample_inventory.metadata)

# 也可以指定某一列作为source元数据
loader_with_source = CSVLoader(
    file_path="supply_chain_inventory.csv",
    source_column="product_id"# 将product_id列的值作为source元数据
)
inventory_docs_with_source = loader_with_source.load()

if inventory_docs_with_source:
    sample_inventory_with_source = inventory_docs_with_source[0]
print("\n--- 示例库存记录内容 (source_column) ---")
print(sample_inventory_with_source.page_content)
print("\n--- 示例库存记录元数据 (source_column) ---")
print(sample_inventory_with_source.metadata)

# 概念性代码，实际需要安装数据库驱动和配置连接信息
# from llama_index.readers.database import DatabaseReader
# from sqlalchemy import create_engine, text

# # 假设数据库连接信息
# DATABASE_URL = "mysql+mysqlconnector://user:password@localhost/crm_db"

# # 创建数据库引擎
# engine = create_engine(DATABASE_URL)

# # 定义SQL查询，提取客户信息
# # 实际应用中，查询可能更复杂，涉及多表联接
# query = text("SELECT customer_id, name, email, phone, risk_level, recent_transactions FROM customers WHERE customer_id = :customer_id")

# # 使用DatabaseReader加载数据
# # reader = DatabaseReader(engine=engine)
# # docs = reader.load_data(query=query, query_params={"customer_id": "C001"})

# # 模拟从数据库加载的数据
# simulated_db_data = [
#     Document(
#         page_content="客户ID: C001\n姓名: 张三\n邮箱: zhangsan@example.com\n电话: 13812345678\n风险等级: 中等\n最近交易: 购买了股票基金A和债券基金B",
#         metadata={
#             "source": "crm_db",
#             "customer_id": "C001",
#             "name": "张三"
#         }
#     )
# ]

# # 打印加载的文档内容和元数据
# if simulated_db_data:
#     sample_customer_doc = simulated_db_data[0]
#     print("\n--- 示例客户信息内容 ---")
#     print(sample_customer_doc.page_content)
#     print("\n--- 示例客户信息元数据 ---")
#     print(sample_customer_doc.metadata)