如何使用BeautifulSoup库从可折叠的表格中抓取正文？
BeautifulSoup 是一个 Python 库，用于解析 HTML 和 XML 文档。它创建了一个解析树，从中你可以提取和操作数据。要从可折叠的表格中抓取正文，你需要首先定位到表格，然后遍历表格中的行和单元格来提取数据。
以下是一个基本的示例，展示了如何使用 BeautifulSoup 从一个假设的可折叠表格中抓取数据：
from bs4 import BeautifulSoup
# 假设这是你从网页上获取的 HTML 字符串
html_doc = """
<html>
<head><title>可折叠表格示例</title></head>
<body>
<table>
<tr>
<th>标题1</th>
<th>标题2</th>
</tr>
<tr>
<td>数据1</td>
<td>数据2</td>
</tr>
<!-- 更多的行... -->
</table>
</body>
</html>
"""
# 创建 BeautifulSoup 对象
soup = BeautifulSoup(html_doc, 'html.parser')
# 定位到表格
table = soup.find('table')
# 遍历表格中的所有行
for row in table.find_all('tr'):
# 遍历行中的所有单元格
for cell in row.find_all(['td', 'th']):
# 打印单元格内容
print(cell.get_text(strip=True))在实际应用中，你可能需要处理更复杂的 HTML 结构，包括 JavaScript 动态生成的内容。如果表格是通过 JavaScript 可折叠的，你可能需要使用像 Selenium 这样的工具来模拟浏览器行为，以便在页面加载和交互后获取完整的 HTML。
如果你遇到了问题，比如无法正确抓取数据，可能的原因包括：
- HTML 结构变化：网页的结构可能已经改变，导致选择器不再匹配。
- JavaScript 动态内容：如果表格内容是通过 JavaScript 动态加载的，BeautifulSoup 本身无法执行 JavaScript，因此无法获取到这些内容。
- 编码问题：HTML 文档的编码可能不正确，导致解析错误。
解决这些问题的方法可能包括：
- 更新选择器以匹配新的 HTML 结构。
- 使用 Selenium 或类似工具来处理 JavaScript 动态内容。
- 确保正确处理 HTML 文档的编码。
对于更复杂的情况，你可能需要结合使用多个工具和技术来抓取数据。例如，你可以使用 Selenium 来获取完整的页面渲染后的 HTML，然后再用 BeautifulSoup 来解析和提取数据。
参考链接：
- BeautifulSoup 官方文档: https://www.crummy.com/software/BeautifulSoup/bs4/doc/
- Selenium 官方文档: https://www.selenium.dev/documentation/en/
请注意，网络爬虫应遵守目标网站的 robots.txt 文件规定，并尊重版权和隐私政策。在进行数据抓取时，请确保你的行为合法合规。
相关·内容
我正试着从URL上盗取一张桌子 我可以使用Scrapestorm工具抓取表格数据。我是python的新手，不能从这个URL获取数据。 from bs4 import BeautifulSoup
page = requests.get('https://pantheon.world/explore/rankings?show=people&years=-3501,2020')
soup = BeautifulSoup(page.text) Excel中所需的输出： enter image description here 从网页上抓取表格数据和图片是可能的吗？
浏览 61提问于2020-12-23得票数 1
回答已采纳
我需要通过使用Python中的BeautifulSoup库进行web抓取，从网站抓取一个表。来自URL https://www.nytimes.com/interactive/2021/world/covid-vaccinations-tracker.html
当我运行这段代码时，我得到了一个空表：
import requests
from bs4 import BeautifulSoup
#
vaacineProgressResponse = requests.get("https://www.nytimes.com/interactive/2021/world/covid-vacc
浏览 0提问于2021-04-18得票数 3
回答已采纳
1回答
通过IMAP抓取电子邮件HTML
、、、、
在这里刮新手。我正在尝试用BeautifulSoup编写一个从Gmail帐户的电子邮件中抓取html表格的工具。使用IMAP，脚本会间歇性地检查收件箱。不过，我不确定如何从电子邮件中提取HTML，这是抓取表格所需的。目前，它提取正文文本，而不是原始的HTML：
m.select("[Gmail]/All Mail")
resp, items = m.search(None, "ALL")
items = items[0].split()
for emailid in items:
resp, data = m.fetch(emailid,
浏览 0提问于2014-01-07得票数 0
1回答
我对从网站上抓取数据的世界非常陌生，不知道如何从使用Tableau Public的网站上抓取数据 网址：https://showmestrong.mo.gov/data/public-health/ 我一直在阅读一些关于如何检查元素并找到其中的表的资料，但我不知所措。我试过在Python、requests和BeautifulSoup中使用，但不知道如何工作。 import requests
from bs4 import BeautifulSoup
import json
import re
r = requests.get("https://showmestrong.mo.gov
浏览 17提问于2020-09-30得票数 1
回答已采纳
1回答
用python抓取表
、、、
试图从开放访问的学术文章中抓取表格，出于某些原因，我无法从本文中抓取这些表，这就是我所做的，但由此产生的ResultSet“表”是一个空列表。谢谢你的帮助。
from bs4 import BeautifulSoup
import requests
url_page = "http://www.sciencedirect.com/science/article/pii/S0378874116301696"
content = requests.get(url_page).content
soup = BeautifulSoup(content, "lxml"
浏览 4提问于2017-08-26得票数 0
1回答
我正在试着从这个页面抓取表格：有18个单独的页面，url不会为每个页面改变。
我该如何抓取这些数据呢？我通常使用BeautifulSoup来抓取HTML页面，但在这种情况下，数据不会出现在HTML代码中，所以我不能在url上使用BeautifulSoup来获取所需的数据。
任何建议都将不胜感激。
浏览 2提问于2015-07-08得票数 0
1回答
我正在尝试从职业足球参考中抓取一个表格，特别是来自的团队进攻表。每当我尝试下面的代码时，我都会得到一个空列表或一个NoneType。我已经抓取了其他网站，如ESPN，没有任何问题。
import requests
from bs4 import BeautifulSoup
url = 'https://www.pro-football-reference.com/years/{}/'
response = requests.get(url.format(2019))
soup = BeautifulSoup(response.text, 'lxml')
浏览 2提问于2020-08-13得票数 1
2回答
我试图从以下网站抓取数据：
问题是我所需要的表格没有显示，我认为这是因为我需要在抓取之前从下拉列表中单击。
我正在尝试下面的抓取，但它的返回为空
import requests
from bs4 import BeautifulSoup
import html5lib
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge
浏览 7提问于2022-10-30得票数 1
所以我一直在网上抓取一个有表格的网站，理想情况下，我想在网上抓取成excel表格，并将其保存在表格中，我将输入我所拥有的，我已经使用了scrapy和BeautifulSoup，我对这两个都有问题。如果能帮上忙就太好了！
import requests
import csv
from bs4 import BeautifulSoup
url = 'https://pcpartpicker.com/products/video-card/'
r = requests.get(url)
html = r.text
soup = BeautifulSoup(html, 'l
浏览 1提问于2018-11-23得票数 0
我正在学习Python和BeautifulSoup如何从网络上抓取数据，并读取超文本标记语言表格。我可以将它读入Open Office，它显示的是表#11。
似乎BeautifulSoup是首选，但是谁能告诉我如何获取特定的表和所有行？我已经看过模块文档了，但是我不能理解它。我在网上找到的许多例子似乎都超出了我的需要。
浏览 1提问于2010-01-06得票数 24
回答已采纳
我正在使用Python和BeautifulSoup进行web抓取。我的目的是从https://thehia.org/directory?&tab=1中拉取成员数据。大约有1685条记录。 当我在我的Chrome上查看页面源代码时，我找不到表格。看起来它是动态提取数据的。但是当我使用Chrome的inspect选项时，我可以在div中找到我需要的"membersTable“表。 ? 如何使用BeautifulSoup访问可以在检查中访问membersTable。
浏览 28提问于2019-10-10得票数 1
1回答
嗨，我正在尝试从web 抓取和解析所有的表格数据。所以，我写了下面的code.But，它没有显示任何数据。我把问题答案看了一遍，但没弄明白问题所在。
from BeautifulSoup import BeautifulSoup
from urllib2 import urlopen
import re
url='https://html5test.com/'
data=urlopen(url)
parse=BeautifulSoup(data).findAll('div', attrs={'class': 'resultsTabl
浏览 2提问于2017-05-17得票数 0
2回答
我正在尝试从"“网站上抓取表格，因为python的输出正在抓取表格。
import requests
from bs4 import BeautifulSoup
url = 'https://www.nseindia.com/companies-listing/corporate-filings-event-calendar?days=7days'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like
浏览 3提问于2020-10-27得票数 0
1回答
我试图从以下网页抓取数据，我需要一个表格格式的记分板。有人能帮我吗？我正在使用python3。我对网络抓取是个新手，对网页的内部原理不是很熟悉。提前感谢！
我试着在urllib2中使用BeautifulSoup，等等，但是什么地方都没找到。
浏览 2提问于2019-11-01得票数 0
3回答
我正在尝试用BeautifulSoup创建一个表格抓取。我写了这段Python代码：
import urllib2
from bs4 import BeautifulSoup
url = "http://dofollow.netsons.org/table1.htm" # change to whatever your url is
page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)
for i in soup.find_all('form'):
print i.attrs[
浏览 0提问于2013-09-24得票数 27
回答已采纳
1回答
我想从这个网站上抓取表格，因为它每小时都在更新，所以我也想跟踪变化。我尝试过使用selenium抓取数据，但它们都在一个列中，没有任何表。如何使用pandas和Beautiful Soup以结构化的格式抓取表格并跟踪更改。这就是我想弄明白的代码。 import pandas as pd
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
table = soup.find('table', attrs={'id':'subs noBorders
浏览 7提问于2020-09-23得票数 0
回答已采纳
1回答
我正在使用漂亮的soup4开发一个python爬行器，我很难在此页面的一个可折叠部分中抓取信息：https://www.redfin.com/CA/Los-Angeles/1366-W-22nd-St-90007/home/6896268。 我想要删除的可折叠部分是“西22街1366号的房产历史”。我想要获取的信息是“日期”列和“价格”列。 url = "https://www.redfin.com/CA/Los-Angeles/1366-W-22nd-St-90007/home/6896268"
headers = { 'User-Agent' :
浏览 12提问于2019-04-18得票数 0
我正在使用beautifulsoup和requests python库进行抓取。通常，目标页面的URL可以在浏览器上看到。但有时在浏览器中看不到它，所以开发者可以很容易地从Chrome中学习到Tools>Network选项卡Query String Parameters。
但是我找不到页面的“查询字符串参数”。
有没有人帮我找到这个页面中“搜索任何值”的参数？
浏览 4提问于2019-10-31得票数 0
回答已采纳
我想在有下一步链接的网页上抓取表格，但是当你点击这些下一步按钮时，URL不会改变。使用python (BeautifulSoup，请求)学习抓取这类表的最好/最简单的资源是什么？
例如，我如何抓取上的表。
浏览 1提问于2017-11-15得票数 0
我正在抓取web (使用Python请求和漂亮的汤)，我需要浏览项目列表中的所有页面，但我需要单击下一页，到目前为止，代码只返回代码中的第50行
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'http://sistemas.anatel.gov.br/se/public/view/b/licenciamento'
antenas = requests.get(url)
if antenas.status_code == 200:
print('Requisição be
浏览 2提问于2021-02-23得票数 0
1回答
我拼凑了一些非常简单的代码，我想应该可以让我从一个URL中抓取不同的表格。这是我的代码。
import pandas as pd
import requests
from bs4 import BeautifulSoup
res = requests.get("https://www.federalreserve.gov/releases/h8/current/default.htm")
soup = BeautifulSoup(res.content,'lxml')
table = soup.find_all('table')[1]
df =
浏览 0提问于2020-09-12得票数 0
2回答
最近，我正在从网页中抓取表格数据，并希望以列表格式country_name、currency1、currency2这样的格式存储在数据库中。我尝试了下面的代码，但它有一点工作，但不是完全。请检查它并指导我，并用它从网页上刮走多个表格。我的代码是：
from bs4 import BeautifulSoup
import requests
url = 'https://www.x-rates.com/table/?from=USD&amount=1'
page = requests.get(url)
soup = BeautifulSoup(page.text, &#
浏览 0提问于2018-10-22得票数 0
回答已采纳
我正在试着从链接上抓取表格。因此需要从其中抓取“href”链接，然后尝试从其中抓取表格。我尝试了下面的代码，但找不到：
from bs4 import BeautifulSoup
import requests
url = 'http://www.stats.gov.cn/was5/web/search?channelid=288041&andsen=%E6%B5%81%E9%80%9A%E9%A2%86%E5%9F%9F%E9%87%8D%E8%A6%81%E7%94%9F%E4%BA%A7%E8%B5%84%E6%96%99%E5%B8%82%E5%9C%BA%E4%B
浏览 0提问于2018-11-05得票数 1
我是Python的新手，我试着学习如何使用BeautifulSoup来刮网页。首先，我只是使用yahoo.com的HTML代码：
视图-来源：
我想刮掉从第577行开始，以633结尾的链接列表，然后获取它们的URL和标题，并将其放在Python中的表中。
到目前为止，我有以下几点：
from bs4 import BeautifulSoup
myURL = "http://www.yahoo.com"
myPage = requests.get(myURL)
yahoo = BeautifulSoup(myPage.content)
print yahoo.prettif
浏览 2提问于2016-02-09得票数 1
我试图从spotrac.com网站上抓取表格，并将数据保存到熊猫的数据中。无论出于什么原因，如果我正在抓取的表超过100行，则对象只会抓取表的前100行。如果您在下面运行我的代码，您将看到生成的数据只有100行，并以"David“结尾。如果您访问网页()和ctrl+F "David“，您将看到还有其他行。如果您将代码的get行中的网页更改为"“，您将看到同样的事情发生了。只有前100行包含在BeautifulSoup对象和dataframe中。
import pandas as pd
import requests, lxml.html
from bs4 import
浏览 5提问于2020-07-01得票数 0
回答已采纳
1回答
我尝试过从中抓取表格，但我无法使用BeautifulSoup找到该表格。
有谁能帮我一下吗？下面是我的代码：
import requests
from bs4 import BeautifulSoup
url = "https://www.windguru.cz/archive.php?id_spot=49308&id_model=3&date_from=2012-01-01&date_to=2012-12-31"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.
浏览 2提问于2019-10-31得票数 0
我已经写了一个小的python代码来抓取网页中的表格。它使用qt4来抓取。现在，问题是我需要每5分钟抓取一次数据。我正在考虑刷新页面并再次抓取。如何每隔5分钟刷新一次网页并再次抓取？下面是我用来抓取的代码。
import sys
from BeautifulSoup import BeautifulSoup
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from lxml import html
import redis
from time import sl
浏览 2提问于2016-11-23得票数 0
1回答
我正试图从以下网站上的一个表格中抓取数据：
这是我找到的代码，可以成功地从第一个表中为skater统计数据擦掉数据：
import requests
import pandas as pd
from bs4 import BeautifulSoup
dfs = []
for page in range(1,10):
url = f"https://www.eliteprospects.com/league/nhl/stats/2021-2022?sort=tp&page={page}"
print(f"Loading {url=}")
浏览 11提问于2022-06-07得票数 0
回答已采纳
1回答
我试图用bs4抓取一个网站，里面有一个表，但我得到的内容元素并不像我从inspect得到的那样完整。我在里面找不到标签<tr>和<td>。如何获取该站点的完整内容，尤其是表格的标记？ 下面是我的代码： from bs4 import BeautifulSoup
import requests
link = requests.get("https://pemilu2019.kpu.go.id/#/ppwp/hitung-suara/", verify = False)
src = link.content
soup = BeautifulSoup(sr
浏览 62提问于2019-04-24得票数 1
回答已采纳
对不起，我是python的新手。 我在试着从桌子上获取信息。我只是想让代码基本上打印出“年度报告”这几个字，但我无法让它打印出表格中的列表。 import requests
from bs4 import BeautifulSoup
url = 'https://webb-site.com/dbpub/docs.asp?p=134902'
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
league_table = soup.find('table', c
浏览 5提问于2021-01-12得票数 0
我正试着从：中抓取一个特定的表
我想要的是股票信息。日期、公司名称、比率以及是否可以选择。
到目前为止，我的情况如下：
from bs4 import BeautifulSoup
import urllib2
url = "http://biz.yahoo.com/c/s.html"
page = urllib2.urlopen(url)
soup = BeautifulSoup(page.read())
alltables = soup.find_all('table')
这段代码给出了页面上的所有表(不止一个)。
1)我不知道如何确定我需要的表格。
2
浏览 5提问于2016-01-07得票数 1
回答已采纳
1回答
抓取oddsportal信息
、、、、
我使用的是Python3.5，实际上我关注的是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5抓取
我只是想用Python代码抓取我需要的所有数据。
我可以很容易地用BeautifulSoup从静态HTML中抓取信息。我最近也发现了如何从动态url中获取信息，使用Chrome的网络选项卡，并在XHR选项下查看出现的HTTPrequest。它通常会给我从JS生成的html代码，在这种情况下，我可以继续使用正则表达式，用BS4抓取它。但实际上我正在做一个关于从www.oddsportal.com中抓取赔率的新项目，在这种情况下，我真的很困惑如何继续进行，因为
浏览 2提问于2016-01-14得票数 1
2回答
我在表单的HTML中有链接
<a href="/downloadsServlet?docid=abc" target="_blank">Report 1</a>
<a href="/downloadsServlet?docid=ixyz" target="_blank">Fetch Report 2 </a>
我可以使用BeautifulSoup获得上述形式的链接列表
我的代码如下
from bs4 import BeautifulSoup
html_page = urllib2.u
浏览 27提问于2017-01-20得票数 2
回答已采纳
1回答
我试着从https://google.com/covid19-map/?hl=en网站上抓取表格行，以获得有关冠状病毒传播的数据。但是它只返回几行，在我的例子中是15行，我无法抓取所有行。表格在网站上不是完全可见的，需要滚动才能看到表格的内容。请帮帮忙。 import requests
from bs4 import BeautifulSoup
URL = "https://google.com/covid19-map/?hl=en"
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html5l
浏览 18提问于2020-03-30得票数 0
回答已采纳
我正在试着抓取我最喜欢的大学橄榄球队的网站。网页上有两个我想要抓取的表格，我写的代码很容易抓取第一个表格。我可以将其放入pandas数据帧中，然后再放入Excel。由于某种原因，我不能弄清楚我无法从站点中抓取第二个表(防御表)。我尝试了许多不同的方法来抓取第二个表。我尝试只查找所有表，它可以找到第一个表，但找不到第二个表。我已经尝试使用表中列出的属性，但也不起作用。任何帮助都将不胜感激！下面是我用来尝试抓取第二个表的代码： from lxml import html
import requests
from bs4 import BeautifulSoup
import csv
import
浏览 25提问于2019-01-30得票数 1
回答已采纳
我正在尝试抓取这个网站的https://swimming.org.nz/results.html'。在接下来的表单中，我只填写了年龄列8到8。我使用下面的代码来抓取StackOverflow中其他地方建议的表。我找不到那张桌子。如何获取这个年龄段8到8岁的所有表格。 import requests
from bs4 import BeautifulSoup
s = requests.Session()
r = s.get("https://swimming.org.nz/results.html")
soup = BeautifulSoup(r.content,
浏览 9提问于2021-05-04得票数 0
我正在尝试构建一个宏来从Excel电子表格中抓取选定的单元格，将这些单元格粘贴到新的outlook电子邮件中，然后更改单元格的格式。
具体地说，我希望将表格转换为文本，然后将字体更改为Arial size 10。
下面的代码完成了上面的工作，但是我还没有弄清楚如何将表格转换为文本，然后更改文本字体。
有人能帮上忙吗？
Sub Email_test()
Dim rng As Range
Dim OutApp As Object
Dim OutMail As Object
Set rng = Nothing
Set rng = Sheets("Master").Range("
浏览 3提问于2015-02-06得票数 0
3回答
from bs4 import BeautifulSoup
import requests
url = 'https://uk.trustpilot.com/review/thread.com'
for pg in range(1, 10):
pg = url + '?page=' + str(pg)
soup = BeautifulSoup(page.content, 'lxml')
for paragraph in soup.find_all('p'):
print(paragraph.text)
我想
浏览 1提问于2019-01-13得票数 3
回答已采纳
我希望从表格中抓取通过TSA安检线的乘客的数据，但我一直收到这个错误。
UnicodeEncodeError: 'charmap' codec can't encode character '\u2713' in position 33780: character maps to <undefined>
从这段代码
url = "https://www.tsa.gov/coronavirus/passenger-throughput"
page = requests.get(url).content
soup = Beauti
浏览 0提问于2020-04-11得票数 1
1回答
抓取正文中的大部分文本
、、、、
我正在学习如何使用lxml/BeautifulSoup，我想知道如何才能尽可能方便地做到这一点。源代码的主体结构是这样的：
<p class = "info">
<!-- a bunch of other tags and text in each paragraph class -->
</p>
<p class = "filler1">
</p>
<p class = "filler2">
</p>
<p class = "filler2
浏览 3提问于2012-11-18得票数 1
回答已采纳
我试图从asx页面中抓取公告表，然而，当我使用BeautifulSoup解析html时，这个表不在那里。
import requests
import pandas as pd
from bs4 import BeautifulSoup
url='https://www2.asx.com.au/markets/trade-our-cash-market/announcements.cba'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
table = soup.
浏览 17提问于2021-02-26得票数 0
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。
我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。
我想获得一些"div“标签中的数据，但是当你加载页面时，数据在html代码中似乎是不可用的，当你点击表格时，它会展开，这个"div”的"class“从类似于"something blabla collapsible”变成了"something blabla collapsible active“，这是我可以用我的知识抓取的。
我
浏览 1提问于2016-11-22得票数 4
我正在试着从https://www.cnbc.com/sector-etfs/那里刮桌子 我使用了类似下面的代码，但不起作用。 source = urllib.request.urlopen('https://www.cnbc.com/sector-etfs/').read()
soup = bs.BeautifulSoup(source,'lxml')
table = soup.find_all('table')
pd.read_html(str(table))[0] 我还尝试了requests.get函数来获取数据，但无法转换为表格格式。你
浏览 17提问于2020-11-10得票数 1
回答已采纳
3回答
Web从ajax页面抓取数据
、、、、
我正在尝试从here上抓取职位。 我正在学习python抓取技术，但我遇到了抓取像这样的Ajax页面的问题。我能够使用第一页的以下代码获得开发人员工具的响应数据。如何从这些数据中提取职位。 from bs4 import BeautifulSoup
import requests
import json
s = requests.Session()
headers={"User-Agent":"Mozilla/5.0"}
r=s.get('https://epco.taleo.net/careersection/alljobs/jobsearch.f
浏览 54提问于2021-07-21得票数 1
4回答
我有问题从这个网站抓取数据：
我感兴趣的是从不同的桌子上获取球员的名字和分数。
我对python相对陌生，对web抓取完全陌生。以下是我到目前为止所拥有的：
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = 'https://fantasy.premierleague.com/player-list'
html = urlopen(url)
soup = BeautifulSoup(html, "lxml")
rows = soup.find_all('
浏览 1提问于2020-06-22得票数 1
回答已采纳
1回答
import requests
from bs4 import BeautifulSoup
web = requests.get("http://minewind.com/forums", allow_redirects=False)
mems = BeautifulSoup(web.text)
mems.prettify()
for links in mems.find_all('a'):
print (links.get("href"))
我试图从某个网页上获取链接，但无论我做什么，它都不会从/forums抓取，而只从minew
浏览 2提问于2014-10-17得票数 0
回答已采纳
1回答
我用下面的代码抓取了this site： import requests
from bs4 import BeautifulSoup
url = "https://www.pro-football-reference.com/teams/buf/2021_injuries.htm"
r = requests.get(url)
stats_page = BeautifulSoup(r.content, features="lxml")
table = stats_page.findAll('table')[0] #get FIRST tabl
浏览 15提问于2021-11-12得票数 1
回答已采纳
这是我在StackOverflow上的第一个问题，因为我真的很困惑。我使用BeautifulSoup (当然还有python )来抓取一个web数据库，这个数据库在过去一直是一致的，而且很容易抓取，但是现在变得很困难了。
以前，web内容是从HTML中抓取的：
<div class="title-class" valign="top">"Unique Title String"</div>
<div class="body-class" valign="top">"Uni
浏览 2提问于2020-10-14得票数 1
回答已采纳
我正在做一个从谷歌学者那里获取数据的项目。我想刮掉作者的h指数，总引文量和i-10指数(all)。例如，我希望从中抓取：
h-index = 36
i10-index = 74
citations = 4383
我写了以下内容：
from bs4 import BeautifulSoup
import urllib.request
url="https://scholar.google.ca/citations?user=OdQKi7wAAAAJ&hl=en"
page = urllib.request.urlopen(url)
soup = BeautifulSoup
浏览 22提问于2016-12-26得票数 1
我试图使用BeautifulSoup从维基百科的表格中抓取信息。现在我被堆叠了，因为我不能循环通过一个对象。
代码如下：
import requests
from bs4 import BeautifulSoup
url='http://de.wikipedia.org/wiki/Liste_der_in_der_Europ%C3%A4ischen_Union_zugelassenen_Lebensmittelzusatzstoffe'
raw_data=requests.get(url)
soup=BeautifulSoup(raw_data.content)
table=
浏览 0提问于2014-10-18得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
