使用R和selectorgadget进行HTML抓取

# 安装并加载必要的包
install.packages("rvest")
library(rvest)

# 使用selectorgadget选择目标元素并获取CSS选择器
# 假设我们得到的CSS选择器是 "#content .item"

# 读取网页内容
url <- "http://example.com"
webpage <- read_html(url)

# 使用CSS选择器提取数据
data <- webpage %>% 
  html_nodes("#content .item") %>%
  html_text()

# 打印提取的数据
print(data)

# 安装并加载RSelenium包
install.packages("RSelenium")
library(RSelenium)

# 启动浏览器
driver <- rsDriver(browser = "chrome")
remote_driver <- driver[["client"]]

# 打开网页
remote_driver$navigate(url)

# 等待页面加载完成
Sys.sleep(5)

# 获取页面源代码
page_source <- remote_driver$getPageSource()[[1]]

# 使用rvest解析页面
webpage <- read_html(page_source)
data <- webpage %>% 
  html_nodes("#content .item") %>%
  html_text()

# 关闭浏览器
remote_driver$close()

# 设置请求头
headers <- c(
  "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
)

# 发送带有请求头的GET请求
webpage <- read_html(httr::GET(url, add_headers(.headers = headers))$content)