Web抓取漂亮的汤不显示节点内容
Web抓取是指通过程序自动获取互联网上的数据，并将其保存或处理。而"漂亮的汤"是指Beautiful Soup，它是一个Python库，用于从HTML或XML文件中提取数据。Beautiful Soup提供了一种简单而灵活的方式来遍历、搜索和修改HTML/XML文档的节点。
在Web抓取中，Beautiful Soup可以帮助我们解析HTML页面，提取出我们需要的节点内容。它可以根据标签、属性、文本内容等进行节点的定位和提取。通过Beautiful Soup，我们可以轻松地从网页中提取出标题、链接、图片、段落等信息。
Beautiful Soup的优势在于它的简单易用和灵活性。它提供了一系列的查找和遍历方法，使得节点的定位和提取变得非常方便。同时，Beautiful Soup还支持CSS选择器，可以根据CSS选择器的语法来定位节点，进一步简化了节点的提取过程。
Web抓取和Beautiful Soup在很多场景下都有广泛的应用。比如，我们可以利用Web抓取和Beautiful Soup来构建网络爬虫，自动化地获取大量的数据。我们也可以利用它们来进行数据挖掘和分析，从大量的网页中提取出有价值的信息。此外，Beautiful Soup还可以用于网页测试和验证，帮助我们检查网页的结构和内容是否符合预期。
腾讯云提供了一系列与Web抓取相关的产品和服务。其中，推荐的产品是腾讯云的云服务器（CVM）和云函数（SCF）。云服务器可以提供稳定可靠的计算资源，用于运行Web抓取程序。而云函数则可以帮助我们实现无服务器的架构，将Web抓取任务以函数的形式运行，更加灵活和高效。
腾讯云云服务器（CVM）产品介绍：https://cloud.tencent.com/product/cvm 腾讯云云函数（SCF）产品介绍：https://cloud.tencent.com/product/scf
相关·内容
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照：
for url in websites:
r = requests.get(url)
soup = BeautifulSoup(r.content)
links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的，我想以并行的方式运行它。我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激。
浏览 0提问于2017-05-29得票数 2
我正在尝试从IMDB抓取电影信息。在大多数情况下，它是有效的，但对于一些电影，标题是不同的HTML检索美丽的汤，然后是火狐显示的源代码。例如，当在IMDB中搜索witch时，我会得到这个页面：
所以我搜索电影，然后用下面这行代码得到电影的URL：
page = urlopen(url)
soup = BeautifulSoup(page, 'html.parser')
movieLink = soup.find('a', text = movieTitle)['href']
imdbLink = 'http://www.imdb.com
浏览 1提问于2017-06-13得票数 2
3回答
我试图创建一个web抓取程序，但是每当我编写：从bs4导入漂亮汤时，我总是会得到错误：no模块名为bs4。我安装了bs4 by：pip安装beautifulsoup4和pip安装bs4，但是没有工作。谢谢!
浏览 4提问于2021-10-03得票数 1
回答已采纳
1回答
我正在尝试从这个网页上的容器中抓取内容：
我通常使用漂亮的汤进行网络抓取，但在这种情况下，我发现它并不适用于这个网站。当我运行我的“汤”时，我只得到网站架构的细节，而不是网站上可用的容器中的内容。
page_link = 'check24.de/handytarife/vergleich?activeForm=sim'
page_response = requests.get(page_link, timeout=5, verify=False, headers={'User-Agent': 'Mozilla/5.0'})
soup = Be
浏览 1提问于2018-10-31得票数 1
回答已采纳
我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的，但是没有api调用，我不能请求那个值。有人能告诉我如何从python代码中调用javascript函数吗？我在用漂亮汤刮网。
谢谢
浏览 7提问于2014-04-06得票数 1
回答已采纳
2回答
用硒美汤寻找元素
、、、
一般来说，我对网络抓取和数据科学是个新手。根据不同的消息来源，美丽的汤比硒更快的抓取网页。我正在写一些在社交媒体评论中爬行的代码。我使用Selenium自动单击检索旧注释的按钮，并使用以下命令从注释中获取文本
driver.find_element_by_xpath()
我知道feature没有允许我直接输入xpath来查找元素的特性。
在这种情况下，我是否应该摆脱对xpath的依赖，并尝试更轻松地使用可以由漂亮的汤使用的选择器呢？
我的代码现在感觉非常笨重，需要几分钟的时间，尽管我只处理了大约120条评论。
如果之前有人问过这个问题，我很抱歉；我在网站上找不到它。谢谢!
浏览 18提问于2019-07-24得票数 0
回答已采纳
1回答
我正在尝试从这个中抓取数据
我的想法是爬行网络上的所有链接，然后使用for发送请求到每个链接，以获得详细的数据。
这是我的，正如您所看到的，我使用selenium web驱动程序打开URL，然后使用漂亮的汤来抓取数据。
它的工作非常成功，但是当它被导出到CSV文件时，第一个链接的从upload_date到number_employees的类别与下面的第一个相同
每个链接中的upload_date到number_employees显示在页面中，如下面的框所示
。
我该如何解决这个问题？
衷心感谢。<3P/s:我还有一个问题，就是我需要登录到web，以便在每个链接中爬行salary，但我
浏览 1提问于2021-02-03得票数 0
回答已采纳
1回答
内部跟踪事务Python
、、、
我一直试图找出使用python获取网络内部/跟踪事务的最佳方法。
我在论坛上读过其他主题，其中说这些内容没有记录在区块链上，所以web3.py不是一个选项，您必须使用一种专门的EVM来使用契约来模拟给定的事务，我试图避免这种情况，因为在python上似乎很复杂.
我正在考虑使用以太扫描站点内部交易净额，我可能会使用漂亮的汤进行网络抓取，但我不知道是否有人知道一个更好的方法，它可以使用基于python的api来实现这个功能(包含一个散列，返回内部事务)，它可以与以太扫描/愤怒交互.
浏览 0提问于2020-02-28得票数 3
回答已采纳
4回答
我已经重新检查了我的代码，并查看了打开URL将web数据传递给Beautiful的类似操作，由于某种原因，我的代码没有返回任何内容，尽管它的形式是正确的：
>>> from bs4 import BeautifulSoup
>>> from urllib3 import poolmanager
>>> connectBuilder = poolmanager.PoolManager()
>>> content = connectBuilder.urlopen('GET', 'http://ww
浏览 3提问于2014-07-31得票数 7
回答已采纳
1回答
我想从网站上抓取犯罪新闻文章，但汤对象不返回所需的div标签，有人能给我原因吗？
import requests
from bs4 import BeautifulSoup
page = requests.get("https://www.nst.com.my/news/crime-courts?page=1")
soup = BeautifulSoup(page.text, 'html.parser')
print(soup)
浏览 1提问于2021-12-29得票数 0
我已经在漂亮汤的帮助下用python创建了一个web scraping项目，但我希望我的项目能作为桌面应用程序工作。因此，我可以运行该应用程序，并在特定的url上执行web抓取。
有没有可能使用python和美汤，或者我必须用不同的语言制作这个项目？
浏览 0提问于2020-04-05得票数 0
1回答
Python抓取td类跨度
、、、、
新来的Python和Web抓取..。我一直在寻找刮擦突出显示的一段代码，以便我可以检索数字1.16，7.50和14.67，但没有joy在使用td，类，表-matches_pageSoup.find_all_ of .有人知道我在这里错过了什么吗？
我用的是漂亮的汤。
浏览 2提问于2018-02-25得票数 0
回答已采纳
1回答
我是HTML的新手，我正在尝试用漂亮的汤抓取一些web数据。
我已经从网站上抓取了这个，并试图提取标题和链接。
value = <a class="AnchorLink News__Item external flex flex-row" href="https://abcnews.go.com/Politics/biden-harris-make-appearance-historic-democratic-ticket/story?id=72327968" name="&lpos=toolkit" tabindex=&#
浏览 1提问于2020-08-13得票数 0
我试图从一个网页上抓取数据，而firebug显示了我想要提取的数据，但是当我右键单击“显示源代码”时，它没有显示在源代码中。
这是因为firebug显示了由javascript等加载的动态内容吗？
是提取此页面内容的最佳方法，包括所有div元素。我需要提取由firebug显示的数据。
casper有casper.GrabHTML方法吗，比如机械化和漂亮的汤？，它将获得所有dom元素，如clsses、href、链接、按钮、文本等。
浏览 2提问于2014-05-22得票数 1
回答已采纳
2回答
因此，我开始了一个项目，我将抓取“https://www.gumtree.com/cars/uk”，提取所有二手车的价格，并在这些数据上试验机器学习算法。然而，当我使用请求api和漂亮的汤来提取html文件时，我意识到它不会显示网站的描述文本。 下面是一个例子： ? 下面是精美的汤结果： ? 正如您所看到的，我得到的不是汽车的描述，而是类似于‘amp；lhblk；▄▄▄’.的描述 我做错什么了吗？ 这是我到现在为止的代码： from bs4 import BeautifulSoup as bs
import requests
import numpy as np
import panda
浏览 62提问于2021-02-11得票数 0
回答已采纳
2回答
我能够用类< list_selected >元素获取TD元素中的文本，使用漂亮的汤。
soup.find_all(class_ = {"list_selected"})
那之后我得去取名字的部分。有许多类似的区块。
<tr>
<td align="left" style="padding-left: 3px;padding-right:3px;" class="list_selected">1422</td>
<td align="le
浏览 2提问于2016-10-30得票数 0
回答已采纳
2回答
我是Python的新手，所以很抱歉这是一个新手问题。
我正在尝试构建一个涉及web抓取的程序，我注意到Python3的web抓取模块似乎比Python2.x系列少得多。
美汤、机械化和scrapy -这三个模块向我推荐--似乎都是不兼容的。
我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激。
谢谢，威尔
浏览 1提问于2011-08-11得票数 5
1回答
我正在尝试网络抓取一个网站，他们的robots.txt文件是这样写的：
(其中zoeksuggestie是英文的搜索建议)
User-agent: *
# Miscellaneous
Disallow: /mijn/
Disallow: /*/print/*
Disallow: /koop/zoeksuggestie/
Disallow: /huur/zoeksuggestie/
Disallow: /nieuwbouw/zoeksuggestie/
Disallow: /recreatie/zoeksuggestie/
Disallow: /europe/zoeksuggestie/
Di
浏览 1提问于2019-11-03得票数 1
我使用的是ubuntu14.0LTS和pycharm IDE，如何下载和安装美汤，并将美汤库添加到pycharm中。
我试着使用pip install，它不工作。
浏览 0提问于2014-07-18得票数 2
我读过刮痕是一个网络爬行工具和美丽的汤是一个图书馆的刮痕。但我的朋友说，这两者是不同的，我们可以完成相同的任务，在美丽的汤，这是通过刮擦。我朋友的观点是真的吗？我也怀疑美丽的汤是刮刮的一部分，还是另一种？请告诉我
浏览 1提问于2015-02-25得票数 2
回答已采纳
1回答
是否有不是用户或外部库的python web刮刀库？
我发现了漂亮的汤、硒和请求作为用户创建的python web抓取库。
在我开始做这个之前，我只想知道我是否不需要安装不同的库。
浏览 3提问于2022-03-13得票数 -1
回答已采纳
<a href="#">
<span class="myspan"> Don't want this text </span>
I want this text
</a>
在没有跨度内的文本的情况下，我如何才能只抓取上面的文本？假设跨度可能出现或不出现
浏览 11提问于2015-06-01得票数 2
回答已采纳
我正在构建一个蜘蛛，我正在使用美丽的汤来解析特定URL的包含。现在，一些网站正在使用Java-script来显示动态容器，一旦某个动作点击或时间发生，动态容器就会显示给用户。漂亮的汤只需要解析静态容器，这是在java-script标签运行之前。我想让容器在java-script运行之后。有没有办法做到这一点？
我能想到一种方法:抓取url，打开浏览器，同时运行这个URL和java-script标签。然后将这个url传递给Beautiful soup，它可以看到生成了哪些java-scriptdynamic包含。然而，如果我正在抓取数百万个链接，那么这个解决方案就没有用了。如果有一些内置的模块，
浏览 2提问于2011-04-21得票数 1
我可以在Google App Engine上使用Python lxml吗？(或者我必须使用美汤？)
我已经开始使用美汤了，但它似乎很慢。我刚刚开始使用“屏幕抓取”其他网站的数据来创建某种“混搭”的想法。
浏览 1提问于2009-12-13得票数 11
回答已采纳
1回答
我安装了蟒蛇，并能使用jupyter笔记本以及熊猫。
但我只是通过一个教程来做这件事。
我该如何安装漂亮的汤？我要把这个放在命令提示符中吗？在jupyter笔记本里？
我要打什么？
作为一个包装，我要进口什么？
我完全迷路了，谢谢
我得到的错误是：(C:\Users\skull\Anaconda3\lib\site-packages\bs4_init_.py)：ImportError:无法从“bs4”导入名称“漂亮汤”
浏览 0提问于2020-09-29得票数 1
回答已采纳
1回答
您好，我在python3.4上使用漂亮的汤来解析html，但我似乎找不到正确的代码来正确显示这些html标签中的信息。我已经成功地解析并提取了来自其他站点的信息，但是由于某种原因，当我使用此代码完成显示内容的循环时，空方括号显示为[]，就好像没有信息一样。
web=requests.get('https://www.scutify.com/company.aspx?ticker=AAPL')
Info=web.content
Scutify=BeautifulSoup(Info,'html.parser')
price=Scutify.f
浏览 3提问于2015-07-25得票数 0
我刚刚开始使用python进行网络抓取。我使用了两个库来抓取:请求和漂亮的汤。我打开给定的URL，并在该页面上传递所需数据的日期间隔。当我按submit时，URL不会改变，但是数据在页面上。然后我就可以访问那个页面了。我就是这样访问这个网站的：
r = requests.get("https://....... ")
c = r.content
soup = BeautifulSoup(c, "html.parser")
如果我想获取数据，我使用以下代码从存储数据的网站获取数据：
all = soup.find_all("table", {
浏览 3提问于2017-02-20得票数 1
回答已采纳
我正在努力浏览这个特定网站的内容：
我试着抓取日期部分，如打印屏幕中所示：
我使用了这个基本的漂亮汤代码
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text,'html.parser')
type(soup)
time = soup.find('ul',class_='slidee')
这是我得到的，而不是元素列表
<ul class="slidee">
<!-- adding dates -->
</ul>
浏览 0提问于2019-08-04得票数 0
回答已采纳
我正在建立一个网络爬虫，扫描网站的twitter链接。我刚喝过漂亮的汤，现在很难喝。我尝试过使用正则表达式来解析页面的整个HTML，但这比漂亮的汤更不管用。目前，我的代码抓取一个网站，并试图将其解析为twitter URL。
当然，我知道这并不总是有效的，但是现在所有的东西都会以无的形式返回，并且永远不会返回twitter链接，尽管我知道这些站点包含它们。此外，一旦有5次链接，我通常也会收到错误：
AttributeError: 'NoneType' object has no attribute 'group'
我已经专门测试过了。我真的不认为这有那么难，但考
浏览 5提问于2017-09-01得票数 1
回答已采纳
1回答
我正在尝试从第一个图像中获取img标记，这样我就可以获取图像链接。当我用漂亮的汤抓取站点时，没有img标签(如图2所示)。
我不明白为什么每个网站都有一个img标签，但美丽的汤却没有。
浏览 1提问于2020-03-02得票数 1
1回答
我正试着用漂亮的汤在一篇烂番茄的文章里刮掉电影的片名。但是，电影标题位于每个电影页面的href链接之后。这是我想要得到的：
<a href="https://www.rottentomatoes.com/m/the_shape_of_water_2017/">The Shape of Water</a>我只想得到文本‘水的形状’我可以得到这个文本，但这只是一部电影的文本。我想对同一页上的所有电影执行此操作，并且每个电影的链接的最后部分都会发生变化。有人能告诉我如何才能做到这一点吗?我是一个网络抓取的初学者。
浏览 12提问于2021-03-05得票数 0
我想从hackerrank抓取竞赛的细节，但是我不能通过漂亮的汤库来做这件事，有人能建议其他方法来做同样的事情吗？
浏览 5提问于2016-10-11得票数 0
我对web抓取非常陌生，以前只使用Python来使自己成为一个使用套接字的IRC，等等。
我想对我的IRC做的是让客户从我使用创建的一个免费博客中获取一个IP或IP列表。
因此，自然，我需要做一些网络抓取，以获得这些信息。问题是，我如何做到这一点，而不要求一个客户端下载这个必须安装加载项，如美丽汤，以使它工作？
问题摘要：需要在不使用第三方模块的情况下从网页中获取一些数据。
我已经做了很多谷歌，但只有找到解决方案使用美丽汤。(即使是这样，也很难理解)
浏览 5提问于2013-09-08得票数 2
回答已采纳
4回答
我一直试图使用的漂亮汤来收集一些数据。但是，当我解析内容时，有些数据根本没有显示出来。这些数据字段在铬检查器中可见，但在“汤”中看不到。问题是，它们似乎不是文本元素。我认为它们是使用外部数据库提供的。我已经附上了下面的截图。还有其他方法可以刮掉这些数据吗？
提前谢谢。
谷歌检查员：
美丽汤解析内容：
浏览 8提问于2021-02-12得票数 2
回答已采纳
1回答
用于抓取的Drupal结构
、、、、
我正在尝试用Python脚本刮一个drupal站点，用于过去的音乐演出。
在使用wordpress站点进行此操作时，我会像这样迭代urls：
…
...and，它会让我转发到一个页面(如果有)，我可以刮。实际的URL应该是这样的：
我的Drupal站点也有一些部分(例如/gigs/或/古典/等等)。
有没有办法找出他们的urls是什么，这样我就可以用来抓取它了(欢迎其他建议)吗？
理想情况下，我会找出结构是什么。
…
等。
但也许它不是这样工作的？
浏览 9提问于2016-04-21得票数 0
回答已采纳
在使用BeautifulSoup从中刮取数据时，我遇到了一个问题。我以前在Bballreference上使用过BeautifulSoup，所以我对正在发生的事情有些困惑(当然，我是一个相当大的菜鸟，所以请容忍我)。
我试着从上抓取球队赛季的数据，从一开始就遇到麻烦：
from bs4 import BeautifulSoup
import requests
web_response = requests.get('https://www.basketball-reference.com/leagues/NBA_2020.html').text
soup = Beautiful
浏览 5提问于2020-06-01得票数 1
回答已采纳
1回答
我对网络抓取非常陌生，我正在尝试抓取：
浏览器: Chrome
我正试着把桌子刮掉，然后用它来做一道美味的汤。
当我点击表格时，我不能突出显示表格的html，因此不能继续。
我做得对吗？或者我看错了桌子的位置？
浏览 32提问于2021-03-04得票数 0
回答已采纳
我正在尝试抓取hrefs中包含的相对路径，但它们除了主要的汤拉之外并没有出现在任何地方。如果我尝试拉取特定的href或链接，我希望抓取的内容不会显示出来，但我知道它们就在那里。 \u003ca href=\"/model/ford-1200\"
\u003ca href=\"/model/ford-1300\"
\u003ca href=\"/model/ford-1400\" 有没有办法在页面上创建一个包含大约20个"u003ca href“的列表？我正在查找引用中的部分(例如/model/ford-1200、/model/ford-
浏览 33提问于2021-04-20得票数 0
1回答
我目前正在使用漂亮的汤尝试和网络刮一个网站的数据，但是python模块正在阅读该页面的源代码。但是，在页面的源代码中，我所需要的信息并不存在，但是，如果我在chrome中右键单击页面并检查元素，它就是。
我想知道python模块是否可以从网页中抓取元素，而不是源代码。
在“美丽的汤”中，我试图搜索像这样的元素，但是它们没有出现或出现，因为它在源代码中搜索。我也不知道为什么或者为什么它不出现在那里。
浏览 2提问于2020-08-28得票数 0
回答已采纳
1回答
我正在使用Python中的漂亮汤来做web 抓取。网站上的文字有红色字体颜色的名字，我需要有颜色代码。我正在使用网站上的文本作为我的培训数据的纳(仅为正确的名称)。我怎么才能用漂亮汤得到颜色码呢？现在我的代码看起来是这样的。
from bs4 import BeautifulSoup
import requests
req = requests.get('https://www.islamweb.net/ar/library/index.php?page=bookcontents&idfrom=1&idto=272&bk_no=86&ID=2'
浏览 2提问于2021-08-07得票数 1
回答已采纳
嗨，我正在制作一个程序，它在堆栈溢出中为搜索词抓取结果。
我编写了代码以获得某些结果的最大页面。
我需要知道抓取的最大页面，但是通过开发工具查看的html结构和通过漂亮汤获得的html信息是不同的。
网址：
下面是关于div标记的信息，它的类名是s-paginatino，通过开发工具。
from bs4 import BeautifulSoup
import requests
url = "https://stackoverflow.com/jobs?q=vue"
result = requests.get(url)
soup = BeautifulSoup(result
浏览 1提问于2020-08-30得票数 1
我有一个python作业，它使用漂亮的汤从job上抓取数据。我尝试使用U-SQL执行脚本，但我一直收到一般的错误消息：
An unhandled exception from user code has been reported
我没有过多地研究这个错误，因为我不确定是否有可能通过U-SQL来抓取web。
这是否可以使用U-SQL，如果不可以，我可以使用哪个Azure资源来计划此脚本并将结果存储在Azure数据湖存储上？
浏览 2提问于2018-01-03得票数 0
1回答
我希望使用css选择器只从这个div<div class="one">中选择文本(在我的示例“1.42”中)，以便进行抓取：
<div class="one">
1.42
<div class="nested">..</div>
</div>
我尝试过这样做，但是返回了整个<div class="one"> (我只想要文本)：
div.one:first-child
这也是：
div.one:first-child:not(.nested)
它们都返回文本和d
浏览 0提问于2020-09-16得票数 0
我是一个Java程序员，刚开始使用python语言，我知道这个问题很愚蠢。我通常使用Jsoup(java)获取web抓取数据，但为了改变，我想尝试一下漂亮的汤(Python)，但最后我遇到了一个男生错误。请帮帮我。
from bs4 import BeautifulSoup
import requests
for i in range (0,10,10)
r=requests.get("http://www.bjp.org/know-your-candidate/?start="+i+"&candidate_state=")
dat
浏览 4提问于2014-03-26得票数 2
回答已采纳
我想抓取一个ASP.NET网站，但是urls都是一样的，我如何使用python来抓取特定的页面呢？
这里是我想爬的网站：
(我用的是美丽的汤，urllib和python 3)
我应该得到哪些信息来区分一个页面和另一个页面？
浏览 4提问于2015-08-16得票数 0
回答已采纳
2回答
我正在尝试抓取下面的网站：(请注意这是韩语) https://law.go.kr/lsSc.do?menuId=1&subMenuId=15&tabMenuId=81&query= 我需要抓取“법령명”列中每个链接的所有内容，该列紧挨着索引列(请参见下面的图片以供参考)，但这些链接似乎并不唯一。它们似乎都有https://law.go.kr/lsSc.do?menuId=1&subMenuId=15&tabMenuId=81&query=#undefined的url，但是这个url似乎也不能用来创建一个汤。 我想知道这里可能有什么问题，或者是否
浏览 19提问于2021-07-01得票数 1
回答已采纳
我想运行一个python进程，其中包括在一些.org网站上全天候使用漂亮的汤进行web抓取。它在大多数网站上都运行得很流畅，但也有一些罕见的例外，就像你从下图中看到的那样，Network中有一个峰值。python进程(而不是实例)被终止。
在抓取时，我避免使用任何.pdf或.jpg...这样CPU使用率就不会超过15% (到目前为止，没有问题)
理想情况下，我需要一个脚本来使进程在终止时重新启动，但有人告诉我这是不可能的(除非你们中的一些人建议我使用AWS服务，我可以配置该服务使进程在终止时重新启动)。
有没有办法限制美容汤的网络能力，并在达到网络峰值之前停止对该特定链路的刮擦？
浏览 0提问于2021-11-27得票数 0
我正在使用漂亮的汤来抓取一个网站，我想将抓取的日期与调用datetime.date.today()得到的日期进行比较。
from BeautifulSoup import BeautifulSoup
import datetime, urllib2, re
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
url = ('http://phoenix.backpage.com/SportsEquipForSale/')
myUr
浏览 0提问于2013-07-10得票数 1
我想用以下代码解析一个html站点：
<div class="dates">
<div class="clearfix" id="datesDiv"></div>
::before
"some text" <span></span>
"some other text"
::after
</div>
我怎么才能得到“一些文字”和“一些其他文本”与美丽的汤？
soup.find和soup.select的搜索对我都没有用。结果总是空的。当我查看整个站
浏览 1提问于2017-05-07得票数 1
回答已采纳
1回答
刚刚接触python和漂亮的汤，这里我有下面的html，我需要抓取表格中的href链接以及td标记中的所有文本。
我能够抓取href：
links = browser.find_elements_by_css_selector("#lstDocTable tbody tr td:nth-child(0) a")
print([link.get_attribute("href") for link in links])
在表中的所有data(rows)上仍在苦苦挣扎。有什么想法？
单击链接将显示此弹出窗口：
浏览 4提问于2018-06-15得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
