LLM + 抓取：让学术文献检索更聪明

原创

jackcode

发布于 2025-09-24 11:01:28

26300

代码可运行

文章被收录于专栏：爬虫资料爬虫资料

运行总次数：0

代码可运行

在信息爆炸的今天，想要快速找到相关论文简直像大海捞针。搜索引擎虽然方便，但它们的结果往往冗余又不精准。于是就有人开始琢磨：能不能把 爬虫技术 和 大模型（LLM） 结合起来，做一个懂上下文、能对文献内容“消化再输出”的检索助手？

今天我就拿一个典型场景来展开：学术文献快速检索助手。具体的需求是这样的——我想问系统一句话：

“帮我找最近一年在 NLP + 爬虫领域的论文贡献”

系统就能去抓取学术网站的数据，把相关论文摘要拉回来，再用 LLM 进行整理，最后给我一个像研究助理一样的回答。

这套流程的关键点在于：爬虫抓取数据 → 结构化切分 → 向量化入库 → RAG 检索增强 → LLM 生成结果。但如果实现得不对，很容易掉坑。下面我就按照「错误示例 → 正确做法 → 原因解释 → 陷阱提示 → 模板推荐」的顺序，带你走一遍。

错误示例：一股脑抓取 + 粘贴问大模型

很多人第一反应是：直接用 requests 把网页扒下来，然后把内容一股脑丢给 LLM。

import requests

url = "https://arxiv.org/search/?query=nlp+crawler&searchtype=all&abstracts=show&order=-announced_date_first&size=25"
resp = requests.get(url)
print(resp.text)

然后就想着把这个 resp.text 直接喂进大模型，让它总结。

问题来了：

抓下来的内容很多是 HTML 垃圾标签，噪声极大；
上下文超过模型的输入限制，很容易被截断；
没有缓存和结构化，重复查询时效率低。

结果就是：慢、乱、不稳定。

正确姿势：加一层 “RAG 缓冲”

更稳妥的做法是，把爬虫抓取的数据清洗之后，切分成小块，然后存进向量数据库。查询时先用检索模型找到最相关的文献片段，再把它们送给 LLM。这样既能减少输入量，又能保持上下文的相关性。

下面是一个简化的示例：

import requests
from bs4 import BeautifulSoup
from openai import OpenAI

# ====== 代理配置（亿牛云） ======
proxy_host = "proxy.16yun.cn"      
proxy_port = "3100"        
proxy_user = "16YUN"               
proxy_pass = "16IP"                

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
}

# ====== 抓取最近一年 NLP+爬虫相关论文 ======
url = "https://arxiv.org/search/?query=nlp+crawler&searchtype=all&abstracts=show&order=-announced_date_first&size=25"
resp = requests.get(url, proxies=proxies)
soup = BeautifulSoup(resp.text, "html.parser")

papers = []
for item in soup.select(".arxiv-result"):
    title = item.select_one(".title").get_text(strip=True)
    abstract = item.select_one(".abstract").get_text(strip=True)
    papers.append(f"{title}\n{abstract}")

# ====== 模拟 RAG 检索：取出相关片段交给 LLM ======
client = OpenAI(api_key="YOUR_API_KEY")

query = "帮我找最近一年在 NLP + 爬虫领域的论文贡献"
context = "\n\n".join(papers[:5])  # 假设先取前5篇

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "你是科研助手，帮我总结学术论文的贡献"},
        {"role": "user", "content": f"问题: {query}\n\n相关论文:\n{context}"}
    ]
)

print(response.choices[0].message.content)

这样一来，整个链路就变成：

爬虫抓取 → 清洗提取标题/摘要 → 存储/检索 → LLM 总结回答。