soup.find_all，返回空，即使解析器工作，url是正确的
soup.find_all是BeautifulSoup库中的一个方法，用于查找HTML或XML文档中符合指定条件的所有元素。当使用该方法时，如果返回的结果为空，即使解析器工作正常，url也是正确的，可能有以下几种可能性：
- 没有符合条件的元素：可能是因为指定的条件不正确，或者文档中没有符合条件的元素。可以检查一下条件是否正确，或者尝试使用其他方法或选择器来查找元素。
- 解析器不支持该方法：不同的解析器对于解析HTML或XML文档的方式有所不同，可能某些解析器不支持find_all方法。可以尝试更换解析器，或者查看文档中是否有其他类似的方法可用。
- 网络连接问题：如果url是正确的，但是返回的结果为空，可能是因为网络连接存在问题，无法正确获取文档内容。可以检查一下网络连接是否正常，或者尝试使用其他工具或方法获取文档内容。
总之，当使用soup.find_all方法返回空时，需要仔细检查条件、解析器和网络连接等方面的问题，以确定原因并进行相应的调整。
相关·内容
1回答
BS4找不到元素
、、
import urllib2
from bs4 import BeautifulSoup
url = 'https://www.wsj.com/news/world'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page, 'html.parser')
l = soup.find_all('div', {'class': 'module module_ls ls ni noImage'})
a = soup.find_all('a', {&
浏览 2提问于2017-07-17得票数 1
我正在测试漂亮的汤网刮工具。下面的代码只需连接到一个subreddit，并尝试打印用户在第一页上发布的所有图片的链接。
import requests
from bs4 import BeautifulSoup
url = "https://www.reddit.com/r/pics"
r = requests.get(url)
if r.status_code != 200:
print "failed to connect"
exit()
sourcecode = r.text
soup = BeautifulSoup(sourceco
浏览 2提问于2017-01-17得票数 1
回答已采纳
我试图刮信息从一个网站(程序名称和程序ID)，它是返回空列表。我不确定我是否混淆了语法，但这就是我拥有的soup.find_all('h3'，class_='ama__h3')
网站链接为
from urllib.request import urlopen
from bs4 import BeautifulSoup as BS
import pandas as pd
from urllib.parse import urlparse, urlsplit
import requests
res = requests.get('https://freid
浏览 0提问于2019-02-08得票数 0
有这样的一个简单的调用脚本
function testAjax() {
$.ajax({
url: ""getvalue.php"",
success: function(data) {
return data;
}
});
}
但如果这样
var output = testAjax(svar); // output will be undefined...
那么怎样才能返调用数据？下面的代码似乎不工作...
function testAjax() {
$.ajax({
浏览 429提问于2017-12-25
1回答
美汤不印节
、、、
我要放弃rss
from bs4 import BeautifulSoup
import urllib2
import requests
url = raw_input("");
re=requests.get(url);
def rss_get_items(url):
request = urllib2.Request(url)
response = urllib2.urlopen(request)
soup = BeautifulSoup(response)
for item_node in soup.find_all(
浏览 3提问于2015-01-08得票数 2
回答已采纳
我现在知道为什么这段代码在这个特定的网站上不能工作了。在其他情况下，它工作得很好。
url = "http://www.i-apteka.pl/search.php?node=443&counter=all"
content = requests.get(url).text
soup = BeautifulSoup(content)
links = soup.find_all("a", class_="n63009_prod_link")
print links
在本例中，它输出"[]&#
浏览 3提问于2013-04-05得票数 2
我想刮的标题和段落文本从谷歌新闻搜索页面的基础上搜索的术语。我想在第一页的时候这样做。
我只编写了一段代码来抓取第一页，但我不知道如何修改我的url以便可以转到其他页面(第2、3页.)。这是我拥有的第一个问题。
第二个问题是我不知道如何刮取标题。它总是会给我返回空列表。我尝试过多种解决方案，但它总是返回空列表。(我不认为那一页是动态的)。
另一方面，在标题下面刮段文字效果很好。你能告诉我如何解决这两个问题吗？
这是我的密码：
from bs4 import BeautifulSoup
import requests
term = 'cocacola'
# this is o
浏览 7提问于2019-11-17得票数 0
回答已采纳
1回答
如何获取多个图像链接
、、、、
def get_links(statu, data, n_img, url, agent):
if statu==0:
print("The website doesn't response. Please try again later",end=" ")
else:
img_links=[]
r=requests.get(url,headers=agent).text
soup=BeautifulSoup(r,"lxml")
results
浏览 2提问于2020-06-12得票数 0
回答已采纳
@ayivima在下面有一个很好的答案，但我要补充的是，网站本身最终没有被BeautifulSoup正确地刮掉，因为它有大量的Javascript。。
所以我对Python的使用完全陌生，我只是想打印一个网页的标题。我使用的代码主要来自google：
from bs4 import BeautifulSoup, SoupStrainer
import requests
url = "https://www150.statcan.gc.ca/t1/tbl1/en/tv.action?pid=3210001601"
page = requests.get(url)
data =
浏览 0提问于2019-06-24得票数 2
我试图从一个名为get_rebate.php的php文件中显示$codeOut的值。
目前我使用的是：
<?php include ("get_rebate.php"); echo substr($codeOut,7); ?>
尝试将来自get_rebate.php的$codeOut的输出显示在页面中，但它返回的是get_rebate.php在无法验证该值时生成的错误消息。
我可能没有正确调用get_rebate.php ($codeOut)的结果，而是在寻找解决此问题的指导。
get_rebate.php：
<?
$code=$_GET['code&
浏览 5提问于2011-02-08得票数 0
我试图做一个非常简单的任务，抓取Youtube网页。但是它仍然返回空列表作为结果。
目标：获取youtube频道的加入日期
原始链接：
码
from bs4 import BeautifulSoup
import requests
url="https://www.youtube.com/channel/"+"UCxX9wt5FWQUAAz4UrysqK9A"+"/about"
html=requests.get(url)
soup=BeautifulSoup(html.text,"lxml")
channel_name=s
浏览 1提问于2020-01-19得票数 0
1回答
谁来帮帮我..。我不知道它为什么会返回空值。以下是我的代码：
titles = []
links = []
page = 1
while (page <= 106):
url = requests.get(f"https://covid19.go.id/p/hoax-buster?page={page}&search=")
soup = BeautifulSoup(url.text, 'lxml')
articles = soup.find_all('a', class_='text-co
浏览 3提问于2022-01-24得票数 -1
回答已采纳
我想刮从以下网站的域名和社交链接(linkedin，twitter)电子邮件。我首先尝试从网络请求中获取数据。它不起作用。然后我尝试了请求模块。当我尝试这样做时，它会抛出一个异常：
response = requests.get(url)
data = response.json() # not working.
然后我尝试了BeautifulSoup。当我打印soup.body时，它会返回数据。但是它不是结构化的，因此当我调用soup.find_all('a')时，soup对象返回空list []。我的代码是
import requests
from bs4 import B
浏览 2提问于2022-02-01得票数 1
回答已采纳
2回答
我想使用从BeautifulSoup检索信息。我检查了许多堆栈溢出帖子(、、、、)，但仍然无法检索信息。
我希望每个瓷砖(图片)的(li)信息，如href，然而，find_all和select one返回空列表或无。
你能帮我得到"e0WtYb HpzMff PJLMUc“类锚标记的以下href值吗?
href="/entity/claude-monet/m01xnj?categoryId=artist"
下面是我尝试过的。
import requests
from bs4 import BeautifulSoup
url = 'https://artsand
浏览 14提问于2021-12-05得票数 3
回答已采纳
最近我从巨龙书中读到了自上而下的解析，其中一个问题要求我检查给定的语法是否适合自上而下的解析。如何确定这个？以下语法条件是否足以成为有效的语法？
1)左因子。
2)无左返流。
3)不含糊。
浏览 1提问于2018-09-14得票数 1
1回答
我正在尝试从一个网站中抓取一些元素，这些元素的标签是： <template v-slot:default-version> 我已经尝试了下面的代码，但我不能让它工作。它只是返回空。 soup.find_all(re.compile('<([^ >]+)[^>]*>default</\1>')) 我们将非常感谢您的帮助。
浏览 9提问于2021-01-18得票数 0
我是BeautifulSoup的新手
今天，作为一个例子，我只是尝试从随机网站获得所有的链接。然而，find_all函数。仅返回空列表。
我检查了所有的主题在那里和谷歌，但我没有找到任何解决方案。
下面是代码。
import requests
from bs4 import BeautifulSoup
url = "https://yellowpages.com.tr/ara?q=ankara"
response = requests.get(url) # Get Url into Code
html_content = response.content # Make
浏览 0提问于2020-05-03得票数 0
1回答
我想从IMDB用户页面抓取会员年数数据。
对于这个页面，有多个徽章，一个徽章对所有用户都是通用的，即最后一个。
我的代码：
def getYear(review_url):
response = requests.get(review_url, headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
浏览 0提问于2021-06-13得票数 0
因此，我有一个平面层次结构HTML，如下所示：
<div class="caption">
<strong>July 1</strong>
<br>
<em>Top Gun</em>
<br>
"Location: Millennium Park"
<br>
"Amenities: Please be a volleyball tournament..."
<br>
<em>Captain P
浏览 2提问于2015-05-21得票数 1
回答已采纳
我试图使用BeautifulSoup4和请求来抓取xml页面中的数据，但是我似乎无法打印结果。我没有收到错误，但没有打印数据。
import time
import requests
from bs4 import BeautifulSoup
url = "website.com?xml=1"
result = requests.get(url)
content = result.content
soup = BeautifulSoup(content, "html.parser")
steamID = soup.find_all("x")
浏览 0提问于2018-05-12得票数 1
回答已采纳
1回答
我需要从网站解析一些数据: busstop_name，indicator。这是我的代码，它返回空的div。但是Chrome显示了我需要的数据。如何获取数据:公交车时间(指示器)和停靠点(Busstop_name)？ def extract_bus_info(url):
html = get_html(url)
soup = BeautifulSoup(html, "lxml")
a1 = soup.find_all("div", "htmlr a1")
for a in a1:
print
浏览 9提问于2021-03-27得票数 0
1回答
我正在尝试提取脚本标记中的文本(图1)。
我使用这段代码提取脚本部分：script_blocks = soup.find_all('script type'，{'type'：'text/javascript'})
我现在需要的是提取黄色高亮显示在之上的文本。我已经尝试过一些方法，但是没有工作，也没有返回空的。有人能帮忙吗？下面是我至今使用的代码。提前谢谢。
浏览 4提问于2020-11-04得票数 0
回答已采纳
from bs4 import BeautifulSoup
import re
import HTMLParser
import urllib
url = raw_input('enter - ')
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html)
scripts=soup.find_all('script')
for tag in scripts:
try:
Script = tag["src"]
print Script
excep
浏览 5提问于2016-03-10得票数 0
我想从一个网站下载视频。
这是我的密码。每次运行此代码时，它都会返回空白文件。下面是实时代码：
from bs4 import BeautifulSoup
import requests
url = requests.get("https://www.mxtakatak.com/xt0.3a7ed6f84ded3c0f678638602b48bb1b840bea7edb3700d62cebcf7a400d4279/video/20000kCCF0")
page = url.content
soup = BeautifulSoup(page, "html.parse
浏览 10提问于2022-03-30得票数 0
回答已采纳
3回答
我是BeautifulSoup的新手，我正在尝试提取表格。我按照文档执行嵌套的for循环来提取单元数据，但它只返回前三行。这是我的代码：
from six.moves import urllib
from bs4 import BeautifulSoup
import pandas as pd
def get_url_content(url):
try:
html=urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
return None
try:
浏览 1提问于2018-03-19得票数 1
回答已采纳
我不知道要选择哪个类，我尝试过不同的选择器类，但它正在返回空列表
我试过以下密码。
import requests as req
from bs4 import BeautifulSoup as bs
url = 'https://www.flipkart.com/nokia-6-1-plus-black-64-gb/product-reviews/itmf8r36g9gfpafg?pid=MOBF8FCFB9KWUTVQ'
page = req.get(url)
rev = soup.find_all(class_ = "_2xg6Ul")
我需要清除
浏览 0提问于2019-04-05得票数 0
回答已采纳
看着，我正试着按县来抢夺比赛%。我正在构建的循环超出了我问题的范围，这个问题涉及以下代码：
url = 'http://quickfacts.census.gov/qfd/states/48/48507.html'
#last county in TX; for some reason the qfd #'s counties w/ only odd numbers
page = urllib2.urlopen(url)
soup = BeautifulSoup(page)
c_black_alone = soup.find_all("td", att
浏览 3提问于2014-10-14得票数 0
回答已采纳
1回答
如何找到所有具有多个参数的div，如下面的td标记所示
<td id = "abcdef">
<div class="12345" id="456" abc="789" def="1123" ghi="">
我试过了
soup.find_all("div",{"class":"12345"})
和
soup.find_all("div",class_="12345")
这两个语句都返回空。
浏览 0提问于2018-08-12得票数 0
回答已采纳
3回答
用美汤找出特定类别
、、、
我试着用美丽汤从Zillow收集房价数据。
我是通过属性id获得网页的。
当我尝试find_all()函数时，不会得到任何结果：
results = soup.find_all('div', attrs={"class":"home-summary-row"})
然而，如果我取下HTML并将其缩减到我想要的部分，例如：
<html>
<body>
<div class=" status-icon-row for-sale-row home-summary-row">
浏览 3提问于2017-01-17得票数 10
回答已采纳
我正在尝试刮，我想检查所有的锚标记。
我已经导入了漂亮汤4.3.2，下面是我的代码：
url = """http://www.civicinfo.bc.ca/bids?pn=1"""
Html = urlopen(url).read()
Soup = BeautifulSoup(Html, 'html.parser')
Content = Soup.find_all('a')
我的问题是，内容总是空的(即内容= [])。有人有什么想法吗？
浏览 9提问于2016-02-02得票数 0
回答已采纳
1回答
我有以下结构
商店
Rebate
RebateMetadata
RebateCommission
所以，关系是这样的-
Store ->返点是一对多关系返点-> RebateMetadata是一对一映射返点-> RebateCommission是一对一映射
我的查询是加载所有存储。使用它，加载所有回扣、元数据和佣金。
我使用的HQL是：
从store as Store中选择store；
我希望在尽可能少的SQL中加载整个图。为了防止n+1选择问题，我在商店->返点之间使用子选择抓取。
然而，为了获取RebateMetadata和RebateComm
浏览 3提问于2010-06-25得票数 0
2回答
我正在尝试获取html页面中的每个"a“标记，并且尝试使用soup.find_all
下面是我的代码：
r.text -- the youtube home page in html
soup = BeautifulSoup(r.text, 'html.parser')
for lnk in soup.find_all('a' , {'class' : 'ytd-thumbnail'}):
print(lnk)
link = lnk.get("href
浏览 4提问于2017-11-21得票数 0
Url =
我想知道BeautifulSoup的电影名称和发行年。
import requests
from bs4 import BeautifulSoup
url = 'https://letterboxd.com/film/dogville/'
req = requests.get(url)
soup = BeautifulSoup(req.content, 'html.parser')
soup.find_all("script")[10]
输出：
<script>
var filmData = { id: 515
浏览 7提问于2021-09-22得票数 0
回答已采纳
1回答
此代码提取课堂上所有学生的标记，并使用results.txt将结果存储在文件BeautifulSoup中。我正在寻找代码评审和建议。
from bs4 import BeautifulSoup
import requests
file = open("results.txt","w")
for roll in range(1,60):
if roll in range(1,10):
rollstr = '0'+str(roll)
else:
rollstr = str(roll)
浏览 0提问于2015-04-17得票数 2
2回答
嗨，我试着在pyhton中做网页抓取，但是它返回空的string。我是初学者，所以解决不了这个问题。据我调查，我得到了一个
TypeError:列表索引必须是整数或切片，而不是str
当我这么做的时候，你能帮忙吗？
当我使用这个形状时，它会返回空数据。
import requests
from bs4 import BeautifulSoup
import pandas as pd
from urllib import response
kitapurl = "https://1000kitap.com/alintilar"
response = requests.ge
浏览 11提问于2022-09-18得票数 -2
2回答
我使用BeautifulSoup来解析一堆可能非常脏的HTML文档。我偶然发现了一件很奇怪的事。
HTML来自于以下页面：
它包含多个错误，例如多个<html></html>、<title>在<head>之外，等等.
然而，即使在这些情况下，html5lib通常也能很好地工作。事实上，当我这么做的时候：
soup = BeautifulSoup(document, "html5lib")
然后我将打印soup，我看到了以下输出：
其中包含了大量的<a>标记。
但是，当我执行soup.find_all("a
浏览 3提问于2014-11-12得票数 2
回答已采纳
1回答
当我打印出g_data列表时，它是空的。里面应该有一些信息，我做错了什么？
import requests
from bs4 import BeautifulSoup
url = 'http://www.yellowpages.com/search?search_terms=coffee&geo_location_terms=Los+Angeles%2C+CA'
r = requests.get(url)
soup = BeautifulSoup(r.content)
g_data = soup.find_all("div", {"clas
浏览 3提问于2014-11-19得票数 1
回答已采纳
1回答
我在一个网站上有这个代码Html： [ 这是我的python脚本： import csv
import requests
from urllib.request import urlopen
from bs4 import BeautifulSoup
csv_file = open('C:\\Users\scrap_result.csv','w',newline='')
csv_writer = csv.writer(csv_file, delimiter=',', quotechar='|', quot
浏览 11提问于2021-01-13得票数 0
我正试着从不同的网页上学习抓取。我尝试从包含选项卡的页面中抓取数据，如下所示：
url = "https://www.bc.edu/bc-web/schools/mcas/departments/art/people/#par-bc_tabbed_content-tab-0"
page = requests.get(url)
content = page.content
tree = html.fromstring(page.content)
soup = BeautifulSoup(content,"html.parser")
p = soup.find_al
浏览 7提问于2017-08-23得票数 0
回答已采纳
我正在尝试向csv文件写入一个列表，以便它看起来像like this。我确信我没有正确使用CSV库，因为它只打印指向该文件的第一个链接的每个字符。这是我的代码： for t in terms:
fields = ["Search Term", "URL"]
url = f"https://news.google.com/rss/search?q={t}&hl=en-US&gl=US&ceid=US%3Aen"
html_page = requests.get(url)
soup = Bea
浏览 5提问于2021-08-24得票数 0
Html.ActionLink、Url.ActionLink和Html.RouteLink返回空url，即使目标url是有效的并且从url正确显示？
我到处玩这条路，但是，它毫无例外地保持返回空的url。
浏览 3提问于2010-08-15得票数 1
1回答
我用的是LXML和漂亮汤。我有一个带有大写标记的XML文档。当我使用BeautifulSoup时，它似乎是小写的标签名称，这使我使用的find_all不直观。BS真的是这样做的，还是发生了其他事情？
soup = BeautifulSoup(
markup= data
features= 'lxml', # 'html5lib', # 'html.parser', #'lxml', #xml
)
soup.find_all('SEC-HEADER') # Returns nothing
s
浏览 2提问于2022-05-25得票数 0
我试着用漂亮的汤来找到HTML标签中的内容。但是，当标记为/div class=“"/时，它就不工作了。如果有双引号中的空间，则无法正确识别。
这是我的密码：
from bs4 import BeautifulSoup
if __name__ == "__main__":
soup = BeautifulSoup(open("1946.html", encoding='utf-8'), 'lxml')
for k in (soup.find_all('div', class_=" ")):
浏览 2提问于2022-03-14得票数 -1
1回答
我似乎不能用斜体表示。*强调*)联系。我尝试了以下语法：
*[text](url)*
[*text*](url)
*[text]*(url)
[*emphasised* text](url)
根据“氧气手册”：
A*或__只在以下情况下开始强调
后面是字母数字字符，以及
它前面有空格、换行符或下列字符<{([，:；；
强调的结尾是
它后面没有字母数字字符，并且
它前面没有空格、换行符或下列字符({[<=+-\@ ])
根据这个定义，这应该是工作的：[*text*](url)，因为*后面是字母数字字符，前面是[字符。它也应该以正确的位置结束，因
浏览 0提问于2015-07-22得票数 3
1回答
我试图从以下内容获取下载的CSV文件链接：
这是我的密码：
import requests
from bs4 import BeautifulSoup
page = requests.get("https://patents.google.com/?assignee=intel")
soup = BeautifulSoup(page.content, 'html.parser')
soup.find_all('a', class_='style-scope search-results')
soup.find_all('a
浏览 3提问于2017-09-13得票数 0
回答已采纳
html文件可以从下载。
soup = BeautifulSoup(open(r"test.html"),from_encoding="ascii")
In [43]:soup.find_all("span")
Out[43]:
[<span style="position:absolute; border: gray 1px solid; left:0px; top:50px; width:648px; height:783px;"></span>,
<span style=
浏览 0提问于2015-03-25得票数 0
回答已采纳
我正在尝试创建一个Python脚本，使用BeautifulSoup从tcgplayer.com中拉出YuGiOH卡的价格。当你在这个网站上搜索一张卡时，它会返回一页搜索结果，其中包含来自不同卖家的几种价格。我的目标是拉动所有这些价格。在下面的例子中，我打开了一个名为"A“细胞繁育设备的卡片的搜索结果：
import urllib2
from bs4 import BeautifulSoup
html = urllib2.open('http://shop.tcgplayer.com/productcatalog/product/show?newSearch=false&
浏览 5提问于2017-02-27得票数 3
回答已采纳
2回答
为了为django应用程序的文本字段提供一个简单而安全的编辑器，我使用以下代码片段将输入html整理为django代码：
from bs4 import BeautifulSoup
def sanitize_html(value):
tag_whitelist = ['img','b','strong','blockquote', 'a']
attr_whitelist = ['src', 'alt', 'width', 'height',
浏览 3提问于2015-09-04得票数 1
最初，我的代码是：
# encoding = utf-8
from bs4 import BeautifulSoup
import urllib
import re
import os
url = []
urlbase = "https://quizlet.com/subject/四级乱序/page/"
for i in range(0,2):
url.append(urlbase + str(i+1))
indexname = str(url[i])[-1] + ".html"
urllib.urlretrieve(url[i], i
浏览 4提问于2016-12-21得票数 0
回答已采纳
这是我正在运行的代码。
import bs4
import requests
from bs4 import BeautifulSoup
r=requests.get('https://finance.yahoo.com/quote/SAS.ST/?guccounter=1')
soup=bs4,BeautifulSoup(r.text,"xml")
soup.find_all('div')
当我运行它时，输出是
> Traceback (most recent call last): File
> "/Users/d
浏览 5提问于2020-11-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
