使用Selenium时，如何模拟正常用户行为？

原创

小白学大数据

发布于 2024-10-24 16:36:07

1220

发布于 2024-10-24 16:36:07

Selenium作为自动化测试和网页数据抓取的利器，被广泛应用于自动化网页交互、爬虫开发等领域。然而，随着网站反爬虫技术的不断升级，简单的自动化脚本很容易被识别和阻止。因此，模拟正常用户行为，降低被检测的风险，成为Selenium使用者必须掌握的技能。本文将详细介绍如何使用Selenium模拟正常用户行为，并提供相应的代码实现过程。

模拟用户行为的重要性在进行网页自动化操作时，如果行为模式与正常用户显著不同，很容易被网站的反爬虫机制识别。例如，正常用户在浏览网页时会有随机的停留时间、不规则的点击路径和自然的文字输入节奏。而自动化脚本往往表现出高频率的请求、固定的操作模式和缺乏人性化的交互行为。因此，模拟正常用户行为对于提高Selenium脚本的稳定性和成功率至关重要。

模拟用户行为的策略

1. 随机化请求间隔正常用户在浏览网页时，操作之间会有随机的间隔。通过在操作之间添加随机延迟，可以模拟这种自然行为。

python

import time
import random

def random_sleep(min_seconds=1, max_seconds=3):
    time.sleep(random.uniform(min_seconds, max_seconds))

# 示例：在两个操作之间添加随机延迟
random_sleep()
driver.get('https://www.example.com')
random_sleep()
driver.find_element_by_id('some-button').click()

2. 使用随机的用户代理用户代理（User-Agent）是浏览器标识自己的字符串，不同的浏览器和设备有不同的User-Agent。通过设置随机的User-Agent，可以使请求看起来来自不同的浏览器。

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

# 定义代理服务器的详细信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 设置代理
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': f'{proxyHost}:{proxyPort}',
    'sslProxy': f'{proxyHost}:{proxyPort}',
    'ftpProxy': f'{proxyHost}:{proxyPort}',
    'noProxy': ''  # 指定不通过代理访问的地址，为空则无限制
})

# 设置代理认证信息（如果代理服务器需要）
proxy.add_to_capabilities({
    'proxyAuthConfig': {
        'username': proxyUser,
        'password': proxyPass
    }
})

# 设置用户代理
user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Safari/605.1.15",
    # 更多User-Agent字符串...
]

random_user_agent = random.choice(user_agents)
options = webdriver.ChromeOptions()
options.add_argument(f'user-agent={random_user_agent}')

# 使用带有代理设置的ChromeDriver
driver = webdriver.Chrome(options=options, proxy=proxy)

3. 模拟鼠标移动和点击使用Selenium的ActionChains类，可以模拟鼠标的移动和点击，增加操作的自然性。


python

import time
import random

def random_sleep(min_seconds=1, max_seconds=3):
    time.sleep(random.uniform(min_seconds, max_seconds))

# 示例：在两个操作之间添加随机延迟
random_sleep()
driver.get('https://www.example.com')
random_sleep()
driver.find_element_by_id('some-button').click()

4. 输入文本时的延迟模拟真实用户输入文本时的速度和节奏，可以通过逐个字符输入并添加延迟。


python

import time
import random

def random_sleep(min_seconds=1, max_seconds=3):
    time.sleep(random.uniform(min_seconds, max_seconds))

# 示例：在两个操作之间添加随机延迟
random_sleep()
driver.get('https://www.example.com')
random_sleep()
driver.find_element_by_id('some-button').click()

5. 模拟滚动模拟用户滚动页面的行为，可以使用JavaScript或Selenium的滚动功能。


python

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

6. 处理弹窗和提示及时处理网页中的弹窗、提示框或验证码，模拟用户的交互。

python
try:
    alert = driver.switch_to.alert
    alert.accept()  # 接受弹窗
except:
    pass

7. 随机访问页面随机选择访问的页面或元素，避免频繁访问同一页面。

python
pages = ["https://www.example1.com", "https://www.example2.com", "https://www.example3.com"]
driver.get(random.choice(pages))

8. 使用显式等待使用显式等待，确保元素在可交互状态后再进行操作，模拟用户的耐心等待。

python
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(driver, 10)
element = wait.until(EC.element_to_be_clickable((By.ID, 'some-button')))
element.click()

9. 模拟浏览器行为通过设置浏览器窗口大小、分辨率等，模拟不同设备的访问。

python
driver.set_window_size(1024, 768)  # 设置窗口大小

结论通过上述方法，我们可以有效地模拟正常用户的行为，降低Selenium脚本被网站反爬虫机制识别的风险。然而，需要注意的是，这些技术的使用应当遵守网站的服务条款，并且不应该用于任何非法或不道德的活动。在享受自动化带来的便利的同时，我们也应该尊重网站的规则和用户的隐私。通过合理、合法地使用Selenium，我们可以在遵守规则的前提下，有效地收集和分析网络数据，为决策提供支持

若有收获，就点个赞吧

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

selenium