在python中通过爬取子URL下载文件

在Python中，可以通过爬取子URL来下载文件。爬取子URL是指从一个网页中提取出所有的子URL，然后根据这些子URL下载文件。

以下是一个完整的示例代码，演示如何使用Python爬取子URL并下载文件：

import requests
from bs4 import BeautifulSoup
import urllib.parse

# 定义爬取子URL的函数
def get_sub_urls(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    sub_urls = []
    for link in soup.find_all('a'):
        sub_url = link.get('href')
        if sub_url.startswith('http'):
            sub_urls.append(sub_url)
        else:
            sub_urls.append(urllib.parse.urljoin(url, sub_url))
    return sub_urls

# 定义下载文件的函数
def download_file(url, save_path):
    response = requests.get(url)
    with open(save_path, 'wb') as file:
        file.write(response.content)

# 主函数
def main(url):
    sub_urls = get_sub_urls(url)
    for sub_url in sub_urls:
        if sub_url.endswith('.pdf') or sub_url.endswith('.docx'):
            file_name = sub_url.split('/')[-1]
            download_file(sub_url, file_name)

# 调用主函数
main('https://example.com')

上述代码中，首先导入了需要的库：requests用于发送HTTP请求，BeautifulSoup用于解析HTML，urllib.parse用于处理URL。

然后定义了一个函数get_sub_urls(url)，用于爬取指定URL中的子URL。通过使用BeautifulSoup库解析HTML，找到所有的a标签，提取出href属性，并根据URL的类型进行处理，最后返回所有的子URL列表。

接下来定义了一个函数download_file(url, save_path)，用于下载文件。使用requests库发送HTTP请求获取文件内容，并将内容写入到指定的保存路径。

最后，在主函数main(url)中，调用get_sub_urls(url)获取子URL列表，遍历列表中的每个URL，判断是否为目标文件（以.pdf或.docx结尾），如果是则调用download_file(url, save_path)进行下载。

请注意，以上代码仅为示例，实际使用时需要根据具体情况进行修改和优化。

推荐的腾讯云相关产品：腾讯云对象存储（COS），用于存储和管理文件，具有高可靠性和可扩展性。产品介绍链接地址：https://cloud.tencent.com/product/cos