Python系列教程(6)-利用 selenium 自动化网页操作

在当今的数字化时代，很多工作都依赖于浏览器操作，比如填写在线表单、提交申请、抓取网站数据等。如果你每天都需要重复这些任务，手动操作不仅繁琐，还容易出错。这时，selenium 库就能帮你解决问题，它能让你通过 Python 脚本来自动化网页操作，节省大量时间和精力。

今天，我们将一起学习如何使用 selenium 来模拟浏览器操作，自动化执行一些常见的网页任务，比如填写表单、抓取数据等。

1. 什么是 selenium？

selenium 是一个强大的 Python 库，专门用于自动化网页操作。它通过模拟用户在浏览器中的操作，控制浏览器打开网页、点击按钮、填写表单、抓取网页内容等。selenium 可以与多种浏览器兼容，比如 Chrome、Firefox 和 Edge 等，是 Web 自动化测试和数据抓取领域中的一项重要工具。

安装 selenium

在开始使用 selenium 之前，我们需要先安装它。你可以通过以下命令来安装 selenium：

pip install selenium

此外，selenium 需要一个 WebDriver 来与浏览器进行交互。对于 Chrome 浏览器，你需要下载 ChromeDriver，并确保它与你的 Chrome 浏览器版本兼容。

2. 基本操作：启动浏览器与打开网页

selenium 能够通过 WebDriver 控制浏览器，首先我们来学习如何启动浏览器并打开一个网页。

2.1 启动浏览器

假设我们要启动 Chrome 浏览器并打开一个网站，可以通过以下代码实现：

from selenium import webdriver

# 设置 ChromeDriver 的路径driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

# 打开一个网站driver.get('https://www.example.com')

# 确保浏览器关闭driver.quit()

在上述代码中，我们首先通过 webdriver.Chrome() 启动了一个 Chrome 浏览器，并通过 get() 方法打开了目标网页。最后，quit() 方法用于关闭浏览器。

2.2 设置浏览器的隐身模式

如果你不想让浏览器记录历史数据，可以启动一个隐身窗口：

options = webdriver.ChromeOptions()options.add_argument('--incognito')driver = webdriver.Chrome(executable_path='/path/to/chromedriver', options=options)

3. 模拟用户操作：点击按钮、填写表单

自动化网页操作的一个重要用途就是自动填写表单、点击按钮等。selenium 提供了强大的方法来模拟用户操作，接下来我们看看如何用 selenium 自动填写网页表单。

3.1 自动填写表单

假设我们有一个简单的登录表单，包含用户名和密码输入框，下面的代码演示了如何填写并提交表单。

from selenium import webdriverfrom selenium.webdriver.common.keys import Keys

# 启动浏览器driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

# 打开登录页面driver.get('https://www.example.com/login')

# 找到用户名输入框并输入用户名username = driver.find_element_by_name('username')username.send_keys('your_username')

# 找到密码输入框并输入密码password = driver.find_element_by_name('password')password.send_keys('your_password')

# 提交表单password.send_keys(Keys.RETURN)

# 关闭浏览器driver.quit()

在这个例子中，我们使用了 find_element_by_name() 方法来定位网页上的元素，然后通过 send_keys() 方法向这些元素输入文本。Keys.RETURN 模拟按下回车键来提交表单。

3.2 模拟点击按钮

假设页面中有一个“提交”按钮，我们也可以通过 selenium 来模拟点击操作：

# 找到并点击提交按钮submit_button = driver.find_element_by_id('submit_button')submit_button.click()

在这个示例中，find_element_by_id() 方法根据按钮的 id 属性定位到按钮，并通过 click() 方法模拟鼠标点击。

4. 数据抓取：获取网页信息

selenium 还常用于网页数据抓取（Web Scraping）。假设你需要从一个网页中提取一些数据，比如标题、价格、评论等。

4.1 获取网页中的文本

我们可以通过 find_element_by_* 方法定位到网页中的元素，获取其文本内容：

# 获取网页标题title = driver.find_element_by_tag_name('h1').textprint('网页标题:', title)

# 获取网页中的价格price = driver.find_element_by_class_name('price').textprint('价格:', price)

4.2 获取网页中的链接

你还可以抓取网页中的链接（URL）：

# 获取网页中第一个链接的 URLlink = driver.find_element_by_tag_name('a').get_attribute('href')print('第一个链接:', link)

通过 get_attribute('href')，我们可以获取 标签中的 href 属性，也就是该链接的 URL。

4.3 批量抓取数据

如果你需要抓取多个类似的元素（如所有商品的标题和价格），可以通过 find_elements_by_* 方法来获取多个元素，并遍历这些元素：

# 获取所有商品的标题titles = driver.find_elements_by_class_name('product-title')for title in titles:print(title.text)

5. 实际应用场景

通过 selenium，我们可以实现很多实际的自动化任务。下面是一些典型应用场景。

5.1 自动填写在线表单

对于需要频繁填写的在线表单（如注册、申请等），你可以使用 selenium 自动化填充所有字段，并提交表单。

5.2 网站数据抓取

你可以自动化抓取网站上的数据，比如获取价格、评论、新闻更新等，进而将这些数据存入数据库或生成报表。

# 获取所有新闻标题news_titles = driver.find_elements_by_class_name('news-title')for title in news_titles:print(title.text)

5.3 自动化登录

如果你需要频繁登录某个网站并进行操作，可以使用 selenium 自动化登录过程，省去手动输入用户名和密码的麻烦。

6. 小贴士和注意事项

等待元素加载：有些网页元素需要加载才能显示，这时你可以使用 WebDriverWait 来等待元素的加载。例如：

from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'submit_button')))

操作的稳定性：selenium 可以在一些复杂的动态页面中工作，但请注意，有些网页的元素可能会因为 JavaScript 渲染而延迟显示，这时候需要适当增加等待时间，确保元素可用。

关闭浏览器：脚本结束后，记得使用 driver.quit() 关闭浏览器，释放系统资源。

通过 selenium，你可以轻松实现自动化网页操作，不仅能节省时间，还能避免繁琐的手动操作。无论是自动填写表单、抓取数据，还是进行网站的自动化测试，selenium 都是一个非常有用的工具。

小伙伴们，今天的Python学习之旅就到这里啦！记得动手敲代码复习实操，有问题随时在评论区问毛毛哦。祝大家学习愉快，快速上手Python学习！

关注点赞，好运不断；

(・ω< )