BeautifulSoup + Selenium，将使用div构建的动态表格文本发送到列表

基础概念

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它能够从网页中提取数据，并且提供了非常方便的 API 来导航、搜索和修改解析树。

Selenium 是一个自动化测试工具，主要用于自动化浏览器操作。它可以模拟真实用户的行为，如点击按钮、填写表单等，非常适合用于处理 JavaScript 动态生成的内容。

相关优势

• BeautifulSoup 的优势在于其简单易用的 API 和强大的解析能力，能够轻松地从复杂的 HTML 文档中提取所需的数据。
• Selenium 的优势在于其能够模拟真实的浏览器行为，处理 JavaScript 动态生成的内容，适用于需要与网页交互的场景。

类型

• BeautifulSoup 主要有两种解析器：lxml 和 html5lib。lxml 解析速度快，但需要额外安装；html5lib 解析更准确，但速度较慢。
• Selenium 支持多种浏览器，如 Chrome、Firefox 等，可以通过 WebDriver 进行控制。

应用场景

• BeautifulSoup 适用于需要从静态网页中提取数据的场景，如爬虫、数据抓取等。
• Selenium 适用于需要处理动态网页内容的场景，如自动化测试、模拟用户操作等。

示例代码

以下是一个使用 BeautifulSoup 和 Selenium 将使用 div 构建的动态表格文本发送到列表的示例代码：

from selenium import webdriver
from bs4 import BeautifulSoup

# 启动浏览器
driver = webdriver.Chrome()

# 打开目标网页
driver.get('https://example.com')

# 获取页面源代码
html = driver.page_source

# 使用 BeautifulSoup 解析页面
soup = BeautifulSoup(html, 'html.parser')

# 找到所有的 div 标签
divs = soup.find_all('div', class_='table-row')

# 提取文本并发送到列表
table_data = []
for div in divs:
    row_data = [cell.get_text(strip=True) for cell in div.find_all('div', class_='table-cell')]
    table_data.append(row_data)

# 关闭浏览器
driver.quit()

# 打印结果
print(table_data)

参考链接

• BeautifulSoup 官方文档
• Selenium 官方文档

常见问题及解决方法

问题：为什么无法获取动态生成的内容？

原因：Selenium 需要等待 JavaScript 完成渲染后才能获取到动态生成的内容。

解决方法：使用 WebDriverWait 等待特定元素出现。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待特定元素出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, 'table-row'))
)

问题：为什么 BeautifulSoup 无法解析某些标签？

原因：可能是由于 HTML 结构复杂或标签嵌套较深。

解决方法：尝试使用不同的解析器，如 lxml 或 html5lib。

soup = BeautifulSoup(html, 'lxml')

问题：为什么 Selenium 启动浏览器失败？

原因：可能是由于浏览器驱动未正确安装或路径配置错误。

解决方法：确保浏览器驱动已正确安装，并配置正确的路径。

driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

通过以上方法，可以有效地解决在使用 BeautifulSoup 和 Selenium 处理动态表格时遇到的问题。