使用Selenium与WebDriver实现跨浏览器自动化数据抓取

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.proxy import Proxy, ProxyType

# 设置代理IP信息 爬虫代理加强版 
proxy_ip = "Proxy.16yun.cn:12345"
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': proxy_ip,
    'sslProxy': proxy_ip,
    'ftpProxy': proxy_ip,
    'noProxy': ''  # 对哪些地址不使用代理
})

# Chrome浏览器选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式
chrome_options.add_argument(f"--proxy-server={proxy_ip}")  # 代理服务器设置
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")  # 设置user-agent
chrome_options.add_argument("--disable-blink-features=AutomationControlled")  # 防止被识别为自动化工具

# 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)

# 设置Cookie
cookie = {
    'name': 'sessionid',
    'value': 'your_cookie_value',
    'domain': '.51job.com'  # 设置cookie的域为51job
}

# 打开51job网站
driver.get('https://www.51job.com')
driver.add_cookie(cookie)  # 添加cookie
driver.refresh()  # 刷新页面以使cookie生效

# 创建存储简历信息的目录
if not os.path.exists("resumes"):
    os.makedirs("resumes")

# 数据抓取和分类存储过程
try:
    # 示例XPath：根据实际页面布局调整XPath，以下XPath仅为演示目的
    elements = driver.find_elements(By.XPATH, '//div[@class="el"]')

    # 遍历每条招聘信息并抓取相关个人信息
    for index, element in enumerate(elements):
        # 提取个人信息数据：假设页面上包含姓名、职位、公司、工作地点等信息
        name = element.find_element(By.XPATH, './/p[@class="t1"]/span/a').text  # 姓名
        position = element.find_element(By.XPATH, './/span[@class="t2"]').text  # 职位
        company = element.find_element(By.XPATH, './/span[@class="t3"]').text  # 公司
        location = element.find_element(By.XPATH, './/span[@class="t4"]').text  # 工作地点

        # 存储到文件
        resume_file = f"resumes/resume_{index+1}.txt"
        with open(resume_file, 'w', encoding='utf-8') as f:
            f.write(f"姓名: {name}\n")
            f.write(f"职位: {position}\n")
            f.write(f"公司: {company}\n")
            f.write(f"工作地点: {location}\n")

        print(f"已存储简历信息到文件: {resume_file}")

except Exception as e:
    print(f"抓取失败: {e}")
finally:
    # 关闭浏览器
    driver.quit()

# 提示：代理IP可组合为http://username:password@Proxy.16yun.cn:12345使用