Selenium Python 是一个强大的自动化测试工具,它可以模拟用户在浏览器中的操作,非常适合用于网页自动化测试和数据抓取。以下是如何使用 Selenium Python 迭代 Google 页面的基础概念和相关步骤:
以下是一个简单的示例,展示如何使用 Selenium Python 迭代 Google 搜索结果页面:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# 设置 Chrome WebDriver 路径
driver_path = 'path/to/chromedriver'
driver = webdriver.Chrome(executable_path=driver_path)
# 打开 Google 搜索页面
driver.get('https://www.google.com')
# 输入搜索关键词并提交
search_box = driver.find_element(By.NAME, 'q')
search_box.send_keys('Python programming')
search_box.send_keys(Keys.RETURN)
# 等待页面加载
time.sleep(3)
# 迭代搜索结果页面
while True:
# 获取所有搜索结果链接
results = driver.find_elements(By.CSS_SELECTOR, 'div.g a')
for result in results:
print(result.get_attribute('href'))
# 尝试找到“下一页”按钮并点击
try:
next_button = driver.find_element(By.CSS_SELECTOR, 'a[aria-label="Next"]')
next_button.click()
time.sleep(3) # 等待页面加载
except:
break # 如果没有“下一页”按钮,退出循环
# 关闭浏览器
driver.quit()
通过以上步骤和示例代码,你可以实现基本的 Google 页面迭代。根据具体需求,你可能需要进一步调整和优化代码。
领取专属 10元无门槛券
手把手带您无忧上云