使用Python爬取网站数据并进行图像处理

# 导入requests库
import requests

# 定义搜索关键词
keyword = "猫"

# 定义请求URL
url = "https://cn.bing.com/images/search?q=" + keyword

# 发送GET请求，并获取响应对象
response = requests.get(url)

# 打印状态码
print(response.status_code)

# 打印响应头
print(response.headers)

# 打印响应内容（网页源码）
print(response.text)

# 导入BeautifulSoup库
from bs4 import BeautifulSoup

# 创建BeautifulSoup对象，并指定解析器为html.parser
soup = BeautifulSoup(response.text, "html.parser")

# 查找所有img标签，并获取其src属性（即图片URL）
img_urls = [img["src"] for img in soup.find_all("img")]

# 打印图片URL列表
print(img_urls)

# 取出前10个元素
img_urls = img_urls[:10]

# 打印图片URL列表
print(img_urls)

# 导入PIL库
from PIL import Image, ImageFilter

# 遍历图片URL列表
for i, img_url in enumerate(img_urls):
    # 用requests库下载图片，并获取二进制数据
    img_data = requests.get(img_url).content

    # 用PIL库打开图片，并转换为RGB模式
    img = Image.open(img_data).convert("RGB")

    # 对图片进行灰度化
    img_gray = img.convert("L")

    # 对图片进行边缘检测
    img_edge = img_gray.filter(ImageFilter.FIND_EDGES)

    # 保存图片到本地，命名为"img_i.jpg"，其中i为序号
    img.save("img_" + str(i) + ".jpg")

    # 保存灰度化后的图片到本地，命名为"img_gray_i.jpg"，其中i为序号
    img_gray.save("img_gray_" + str(i) + ".jpg")

    # 保存边缘检测后的图片到本地，命名为"img_edge_i.jpg"，其中i为序号
    img_edge.save("img_edge_" + str(i) + ".jpg")

import asyncio
import aiohttp
from PIL import Image, ImageFilter

# 导入需要的模块
import io

# 爬虫代理
# 亿牛云 代理服务器
proxyHost = "www.16yun.cn"
proxyPort = "3111"
# 代理验证信息
proxyUser = "16YUN"
proxyPass = "16IP"

# 设置User-Agent和Referer头部信息
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
    "Referer": "https://www.bing.com/"
}

# 异步函数：发送HTTP请求，并返回响应内容
async def fetch(url):
    # 创建一个代理URL
    proxy_url = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
    
    # 创建异步客户端会话，并设置代理
    async with aiohttp.ClientSession() as session:
        async with session.get(url, proxy=proxy_url, headers=headers) as response:
            return await response.read()

# 异步函数：下载并处理图片
async def download_and_process(img_url, i):
    # 调用fetch函数，等待响应结果（二进制数据）
    img_data = await fetch(img_url)

    # 使用PIL库打开图片，并转换为RGB模式
    img = Image.open(io.BytesIO(img_data)).convert("RGB")

    # 图片灰度化
    img_gray = img.convert("L")

    # 图片边缘检测
    img_edge = img_gray.filter(ImageFilter.FIND_EDGES)

    # 保存图片到本地，文件名为"img_i.jpg"，i为序号
    img.save("img_" + str(i) + ".jpg")

    # 保存灰度化后的图片到本地，文件名为"img_gray_i.jpg"，i为序号
    img_gray.save("img_gray_" + str(i) + ".jpg")

    # 保存边缘检测后的图片到本地，文件名为"img_edge_i.jpg"，i为序号
    img_edge.save("img_edge_" + str(i) + ".jpg")

# 异步函数：创建并运行多个任务
async def main():
    tasks = []
    
    for i, img_url in enumerate(img_urls):
        task = asyncio.create_task(download_and_process(img_url, i))
        tasks.append(task)
    
    # 等待所有任务完成，并获取返回结果（如果有的话）
    await asyncio.gather(*tasks)

# 获取事件循环对象
loop = asyncio.get_event_loop()

# 运行main函数，并关闭事件循环
loop.run_until_complete(main())
loop.close()