盘点一个pyquery库选择器提取案例

前端皮皮

发布于 2022-08-17 18:34:06

2900

文章被收录于专栏：前端进阶学习交流前端进阶学习交流

大家好，我是皮皮。

一、前言

前几天在Python白银群有个叫【手中的流沙】的粉丝问了一道关于pyquery选择器提取的问题，如下图所示。

就像这样：

原网页的信息如下图所示：

实现过程

这里【甯同学】给了一份代码，如下所示：

from pyquery import PyQuery as pq


headers = {
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
html = pq(url='https://www.cditv.cn/list-3894-1.html', headers=headers)
doc = pq(html)
li = doc('div.style-type3 > div:gt(0) > ul > li.item > ul > li.list-item').items()
for i in li:
    info = {
        'city': i.text().split('\n\n\n')
    }
    print(info)

代码运行之后，结果如下图所示：

确实一步到位了，很强！原来pq可以直接请求网页，确实也省事了。主要是那个css构造还是需要点时间和精力的。

这个地方也还可以使用xpath提取来实现，代码如下：

import requests
from lxml import etree

res = requests.get(url='https://www.cditv.cn/list-3894-1.html', headers=headers)
res.encoding = res.apparent_encoding
html = etree.HTML(res.text)
li_lists = html.xpath('/html/body/div[1]/div[2]/div[2]/div[2]/ul/li')
print(len(li_lists))
for li in li_lists:
    info = li.xpath('./ul//li//text()')
    # shi = li.xpath('./ul//li/h4/text()')
    # qu = li.xpath('./ul//li/strong/text()')
    # jiedao = li.xpath('./ul//li/br/text()')
    print(info)

运行之后，结果如下图所示：