如何使用Selenium Python爬取动态表格中的复杂元素和交互操作

亿牛云代理

正文

Selenium是一个自动化测试工具，可以模拟浏览器的行为，如打开网页，点击链接，输入文本等。Selenium也可以用于爬取网页中的数据，特别是那些动态生成的数据，如表格，图表，下拉菜单等。本文将介绍如何使用Selenium Python爬取动态表格中的复杂元素和交互操作。

特点

• Selenium可以处理JavaScript生成的动态内容，而传统的爬虫工具如requests或BeautifulSoup无法做到。
• Selenium可以模拟用户的交互操作，如点击按钮，选择选项，滚动页面等，从而获取更多的数据。
• Selenium可以通过定位元素的方法，如id，class，xpath等，来精确地获取表格中的数据。
• Selenium可以结合pandas库，将爬取的数据转换为DataFrame格式，方便后续的分析和处理。

案例

以近期汇率数据为例，我们将从以下网址爬取数据：

https://www.investing.com/economic-calendar/investing.com-eur-usd-index-1155

该网页中有一个动态表格，展示了欧元/美元指数的历史数据。我们需要爬取该表格中的所有数据，并保存为DataFrame格式。

代码

# 导入所需的库
import time
from selenium import webdriver
import pandas as pd

#亿牛云 爬虫代理加强版 设置代理服务器信息
proxyHost = "www.16yun.cn"
proxyPort = "3111"
proxyUser = "16YUN"
proxyPass = "16IP"

# 配置Chrome浏览器以使用代理服务器
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}')
driver = webdriver.Chrome(options=chrome_options)

# 打开目标网页
driver.get("https://www.investing.com/economic-calendar/investing.com-eur-usd-index-1155")

# 等待页面加载完成
time.sleep(10)

# 点击“显示更多”按钮，直到所有数据都显示出来
while True:
    try:
        # 定位“显示更多”按钮
        show_more = driver.find_element_by_xpath('//*[@id="showMoreHistory"]/a')
        # 点击按钮
        show_more.click()
        # 等待一秒
        time.sleep(1)
    except:
        # 如果没有找到按钮或者出现异常，则跳出循环
        break

# 定位表格元素
table = driver.find_element_by_id('eventHistoryTable')

# 获取表格中的所有行
rows = table.find_elements_by_tag_name('tr')

# 创建一个空列表，用于存储数据
data = []

# 遍历每一行
for row in rows:
    # 获取行中的所有单元格
    cells = row.find_elements_by_tag_name('td')
    # 如果单元格数量大于0，则说明是数据行，而不是标题行或空行
    if len(cells) > 0:
        # 创建一个空字典，用于存储一行数据
        record = {}
        # 将每个单元格的文本和对应的列名作为键值对存入字典
        record['Date'] = cells[0].text
        record['Actual'] = cells[1].text
        record['Forecast'] = cells[2].text
        record['Previous'] = cells[3].text
        # 将字典追加到列表中
        data.append(record)

# 关闭浏览器对象
driver.close()

# 将列表转换为DataFrame对象
df = pd.DataFrame(data)

# 打印DataFrame对象
print(df)

功能说明如下：

1. 导入所需的库：代码使用import语句导入了time、webdriver（Selenium库的一部分，用于操作浏览器）和pandas库。
2. 设置爬虫代理以提高采集成功率，创建一个Chrome浏览器对象：通过webdriver.Chrome()创建了一个Chrome浏览器对象，用于操作和访问网页。
3. 打开目标网页：使用driver.get()方法打开了指定网页（https://www.investing.com/economic-calendar/investing.com-eur-usd-index-1155）。
4. 等待页面加载完成：通过time.sleep(10)在页面加载后等待10秒，确保页面加载完全。
5. 点击“显示更多”按钮，直到所有数据都显示出来：通过一个while循环来不断点击“显示更多”按钮，直到页面显示了所有数据。这个循环会在每次点击按钮后等待1秒钟，用于等待数据加载。
6. 定位表格元素：使用driver.find_element_by_id()方法找到表格元素，其id为'eventHistoryTable'。
7. 获取表格中的所有行：使用find_elements_by_tag_name('tr')方法找到表格中的所有行。
8. 创建一个空列表，用于存储数据：代码创建了一个名为data的空列表，用于存储爬取到的数据。
9. 遍历每一行：通过for循环遍历每一行。
10. 判断行类型：对于每一行，通过find_elements_by_tag_name('td')方法找到行中的所有单元格，然后判断单元格数量是否大于0，以确定该行是否是数据行，而不是标题行或空行。
11. 解析数据并存储：如果是数据行，代码创建一个空字典record，并将每个单元格的文本和对应的列名作为键值对存入字典。然后，将这个字典追加到data列表中，形成一个二维数据结构，其中每个元素都是一个字典代表一行数据。
12. 关闭浏览器对象：在数据爬取完成后，通过driver.close()关闭浏览器对象，释放资源。
13. 将列表转换为DataFrame对象：使用pd.DataFrame(data)将data列表转换为一个pandas的DataFrame对象df，其中每个字典代表DataFrame的一行。
14. 打印DataFrame对象：通过print(df)将DataFrame对象打印出来，展示网页中爬取到的数据。

该代码通过Selenium库模拟浏览器操作，使用爬虫代理访问指定网页，然后通过定位网页元素、解析数据，并最终将数据转换为DataFrame对象。通过DataFrame对象，可以方便地对网页上的数据进行进一步处理和分析。

结语

通过本文的介绍，我们了解了如何使用Selenium Python爬取动态表格中的复杂元素和交互操作。Selenium是一个强大的爬虫工具，可以应对各种复杂的网页结构和数据类型。希望本文能够对你有所帮助和启发。