使用BeautifulSoup进行网页抓取将不起作用
，可能有以下几个原因：
- 网页结构问题：BeautifulSoup是基于网页的HTML或XML结构进行解析的，如果网页的结构不规范或者是动态生成的，可能会导致BeautifulSoup无法正确解析网页内容。
- 网页动态加载问题：有些网页使用JavaScript进行动态加载内容，而BeautifulSoup只能解析静态的HTML或XML，无法处理动态加载的内容。
- 网络连接问题：如果网络连接不稳定或者网页响应时间过长，可能会导致BeautifulSoup无法正常获取网页内容。
为解决这些问题，可以考虑以下方案：
- 使用其他库或工具：如果BeautifulSoup无法解析网页内容，可以尝试使用其他库或工具，如Scrapy、Selenium等，这些工具可以处理动态加载的内容或者更复杂的网页结构。
- 分析网页结构：如果网页结构不规范或者动态生成，可以先分析网页的结构，找到需要抓取的内容所在的HTML标签或CSS选择器，然后使用相关库或工具进行解析。
- 处理动态加载：如果网页使用JavaScript进行动态加载内容，可以使用Selenium等工具模拟浏览器行为，使得网页完全加载后再进行解析。
- 优化网络连接：如果网络连接不稳定或者响应时间过长，可以优化网络连接设置，如增加超时时间、使用代理等，以确保能够正常获取网页内容。
美丽汤（BeautifulSoup）是一个Python库，用于从HTML或XML文档中提取数据。它提供了简单和灵活的方式来遍历解析文档，搜索特定标签和提取所需的数据。 Beautiful Soup支持各种解析器，包括Python标准库的解析器和第三方解析器。它是一个方便易用的工具，适用于爬虫、数据挖掘和Web开发等任务。
腾讯云提供了多种相关产品来支持网页抓取和数据处理的需求：
- 腾讯云爬虫器（https://cloud.tencent.com/product/Crawler）：腾讯云爬虫器是一款功能强大、易于使用的数据采集和网页爬取服务。它提供了丰富的爬虫模板和可视化配置工具，可以帮助用户快速构建和运行高效的爬虫任务。
- 腾讯云CDN（https://cloud.tencent.com/product/cdn）：腾讯云CDN是一种全球分发服务，提供快速、可靠的内容分发。它可以加速网页的加载速度，并提供缓存、压缩、防盗链等功能，从而提升用户体验。
- 腾讯云数据万象（https://cloud.tencent.com/product/ci）：腾讯云数据万象是一种全能的云端图片和视频处理服务。它提供了丰富的图像处理和视频处理功能，如图片智能裁剪、水印添加、视频转码等，可以帮助用户高效地处理和优化网页中的多媒体内容。
请注意，以上产品仅作为示例，并非对其他云计算品牌商产品的评价或比较。建议根据具体需求和实际情况选择合适的云计算服务提供商。
相关·内容
我尝试使用网址链接从网页中提取评论的文本内容，并使用BeautifulSoup进行抓取。当我单击URL链接时，在页面上可以看到注释的内容，但是BeautifulSoup返回的HTML对象不包含这些标记和文本。 我使用带有'html.parser‘的BeautifulSoup来做网页抓取。我成功地提取了给定网页中视频的点赞/浏览量/评论数，但评论部分的信息没有包含在HTML文件中。我使用的浏览器是Chrome，系统是Ubuntu 18.04.1 LTS。 这是我使用的代码(在python中)： from urllib.request import urlopen
from bs4 im
浏览 19提问于2019-03-25得票数 1
回答已采纳
1回答
我目前正在学习网页抓取，我试图通过使用漂亮的汤和请求模块来保存网页的html版本："“。
每次我在html文件的stat上得到这些字符时
这是我的密码：
from bs4 import BeautifulSoup
import requests
link = "https://www.wuxiaworld.co/Master-Hunter-K/1061716.html"
html = requests.get(link,timeout = 2)
soup = BeautifulSoup(html.text,'html.parser')
with open
浏览 0提问于2019-12-09得票数 1
回答已采纳
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照：
for url in websites:
r = requests.get(url)
soup = BeautifulSoup(r.content)
links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的，我想以并行的方式运行它。我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激。
浏览 0提问于2017-05-29得票数 2
我是Python的新手，我的第一次尝试是从一个随机的网站上抓取一些网页。这是我的代码，我搞不懂到底是怎么回事。
我正在抓取标题和剧集的大小，但它有2个href和美容不起作用。
代码如下：
from bs4 import BeautifulSoup
import requests
source = requests.get('https://1337x.to/popular-tv').text
soup = BeautifulSoup(source, 'lxml')
tvhead = soup.find('tbody')
filename =
浏览 5提问于2018-09-12得票数 1
我现在刚接触到漂亮的汤和硒3的geckodriver，我正在做一个必须从网页中抓取URL的项目。
我发现它们都是用于网络抓取，但无法得到两者之间的区别。BeautifulSoup和Geckodriver有什么区别？谢谢你的帮助。
浏览 0提问于2018-08-23得票数 2
回答已采纳
我正在试着抓取我最喜欢的大学橄榄球队的网站。网页上有两个我想要抓取的表格，我写的代码很容易抓取第一个表格。我可以将其放入pandas数据帧中，然后再放入Excel。由于某种原因，我不能弄清楚我无法从站点中抓取第二个表(防御表)。我尝试了许多不同的方法来抓取第二个表。我尝试只查找所有表，它可以找到第一个表，但找不到第二个表。我已经尝试使用表中列出的属性，但也不起作用。任何帮助都将不胜感激！下面是我用来尝试抓取第二个表的代码： from lxml import html
import requests
from bs4 import BeautifulSoup
import csv
import
浏览 25提问于2019-01-30得票数 1
回答已采纳
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。
在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。
我已经写了下面的代码，但循环不会重复从原始网页的链接中获得新的抓取页面。
import requests
from bs4 import BeautifulSoup
page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page, 'lxml')
for search_result
浏览 7提问于2019-08-16得票数 1
回答已采纳
2回答
我正在尝试抓取这个网站：
我的代码：
import requests
from bs4 import BeautifulSoup
URL = 'https://www.senate.gov/general/contact_information/senators_cfm.cfm'
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')
print(soup)
问题是，它实际上并没有进入网站。我在soup变量中获得的HTML与正确网页中的HTML完全不同。
我不知道
浏览 20提问于2020-05-29得票数 1
回答已采纳
我试图在我抓取的HTML页面中搜索特定的字符串。我在bs4中使用了find_all()方法并提供了字符串参数，但它不起作用。 网页：https://news.google.com/topics/CAAqJggKIiBDQkFTRWdvSUwyMHZNRGx6TVdZU0FtVnVHZ0pKVGlnQVAB?hl=en-IN&gl=IN&ceid=IN%3Aen from bs4 import BeautifulSoup
import requests
def search(soup):
浏览 34提问于2020-03-22得票数 0
回答已采纳
这是websiteI的源代码，我正在用BeautifulSoup做网页抓取，但在tbody中找不到tr；在网站的源代码中，tbody中实际上有tr；但是find_all函数只能返回头部的tr。
我正在抓取的链接：
下面是我的一些代码：
```from bs4 import BeautifulSoup
```html = urlopen(url)
```type(soup)
```print(tr)
浏览 0提问于2019-06-18得票数 1
1回答
我正在使用BeautifulSoup抓取一个瑞典网页。在网页上，我要提取的信息如下所示：
"Öhman Företagsobligationsfond"
当我从Python脚本打印信息时，它看起来如下所示：
"Öhman Företagsobligationsfond"
我是Python的新手，我已经找到了答案，并在代码的开头尝试使用# -- coding: utf-8 --，但它不起作用。
我正在考虑从瑞典搬过来解决这个问题。
浏览 1提问于2012-11-11得票数 3
回答已采纳
我熟悉从网页抓取数据的BeautifulSoup和urllib2。但是，如果在返回我想要抓取的结果之前需要在页面中输入一个参数，该怎么办？
我正在尝试使用这个网站获取两个地址之间的地理距离：
我希望能够转到页面，输入两个地址，单击“显示”，然后提取“按乌鸦飞的距离”和“按陆路运输的距离”值，并将它们保存到字典中。
有没有办法用Python把数据输入到网页中？
浏览 2提问于2011-08-13得票数 8
回答已采纳
2回答
所以我试着抓取网页的内容。最初我尝试使用BeautifulSoup，但是我无法获取内容，因为内容是动态加载的。 在四处阅读之后，我试着根据人们的建议使用Selenium，但是在这样做之后，我仍然无法获取内容。刮出来的东西跟美汤一样。 是不是就不能抓取这个网页的内容呢？(例如：https://odb.org/TW/2021/08/11/accessible-to-all) import datetime as d
import requests
from bs4 import BeautifulSoup as bs
# BeautifulSoup Implementation
def dev
浏览 35提问于2021-08-11得票数 0
回答已采纳
1回答
我有以下代码：
#!/usr/bin/env python
from mechanize import Browser
from BeautifulSoup import BeautifulSoup
mech = Browser()
mech.set_handle_robots(False)
url = "http://storage.googleapis.com/patents/retro/2011/ad20111231-02.zip"
page = mech.open(url)
html = page.read()
soup = BeautifulSoup(html)
浏览 0提问于2012-10-11得票数 0
回答已采纳
我对Python非常陌生，并试图通过做一些小项目来学习。我目前正在尝试从不同的网页中收集一些信息，然而，每当它将抓取的数据输出到CSV时，它似乎只从最后一个URL输出数据。 理想情况下，我希望它能够写入CSV，而不是追加，因为我只想要一个只包含最近抓取的最新数据的CSV。 我已经在StackOverflow上查看了其他一些类似的查询，但我要么不理解它们，要么它们对我来说不起作用。(可能是前者)。 任何帮助都将不胜感激。 import csv
import requests
from bs4 import BeautifulSoup
import pandas as pd
URL = [&#
浏览 8提问于2019-05-25得票数 0
回答已采纳
1回答
我试图从以下网页抓取数据，我需要一个表格格式的记分板。有人能帮我吗？我正在使用python3。我对网络抓取是个新手，对网页的内部原理不是很熟悉。提前感谢！
我试着在urllib2中使用BeautifulSoup，等等，但是什么地方都没找到。
浏览 2提问于2019-11-01得票数 0
2回答
我正在尝试从这个网页中抓取数据：
通过手动下载网页，将其另存为.txt文件，然后使用以下代码，我已经能够在本地使用它：
def from_file():
search_files = ['sport.txt', 'event.txt']
my_word_list = []
for file in search_files:
with open(file, 'r', errors = 'ignore') as f:
html = f.read()
浏览 30提问于2019-11-23得票数 1
回答已采纳
2回答
我正在尝试使用BeautifulSoup从多个网页中抓取数据。每个网页都有相同的格式，结尾有一个代码来唯一地标识它们，例如。www.sample_000.com。问题是，如果我随机选择一个代码123并尝试并刮取www.sample_123.com，我将一无所获，因为页面不存在。如果我试图直接从浏览器打开HTTP 404，就会得到一个HTTP 404错误。但是，如果我转到主网站并选择适当的输入值来打开www.sample_123.com，它就会加载得很好。
在从主网站加载它一次之后，我现在可以在浏览器中独立地刮开它，而不需要浏览主网站。这里发生了什么，我如何刮这些网页，而不首先打开他们通过主要的
浏览 0提问于2019-10-11得票数 0
回答已采纳
我是Python编程的初学者，我正在努力学习如何抓取网页。我要做的就是从这个中抓取数据
我正在尝试从上面的页面中抓取ISSUE DATE (如果你打开网页，你可以看到ISSUE DATE )。我在这方面遇到了一些问题。
这是我为此编写的代码。
import BeautifulSoup
import urllib2
url = "http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&
浏览 0提问于2012-04-10得票数 0
我试图从asx页面中抓取公告表，然而，当我使用BeautifulSoup解析html时，这个表不在那里。
import requests
import pandas as pd
from bs4 import BeautifulSoup
url='https://www2.asx.com.au/markets/trade-our-cash-market/announcements.cba'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
table = soup.
浏览 17提问于2021-02-26得票数 0
当使用BeautifulSoup抓取网页时，是否有一种方法可以限制find方法家族找到的元素数量。
例如，如果我只想要前5个标签，我可以使用BeautifulSoup做这个吗？
浏览 1提问于2020-06-09得票数 2
回答已采纳
我是网络抓取的新手，对requests和BeautifulSoup也不是很熟悉。
我正在尝试用BeautifulSoup抓取aspx网站。但是要获得我想要抓取的值，我首先需要选择一个下拉值，输入一个ID，然后按submit。
这有可能吗？
任何帮助都将不胜感激！
浏览 4提问于2020-09-08得票数 0
我已经写了一个小的python代码来抓取网页中的表格。它使用qt4来抓取。现在，问题是我需要每5分钟抓取一次数据。我正在考虑刷新页面并再次抓取。如何每隔5分钟刷新一次网页并再次抓取？下面是我用来抓取的代码。
import sys
from BeautifulSoup import BeautifulSoup
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from lxml import html
import redis
from time import sl
浏览 2提问于2016-11-23得票数 0
1回答
我试着用Python2.7从一个网站上抓取网页，那里有一个必须加载的表。如果我试图在网络上抓取它，我只得到它：“加载”或“对不起，我们没有关于它的任何信息”，因为它必须先加载。
我读了一些文章和代码，但都没有用。
我的密码：
import urllib2, sys
from BeautifulSoup import BeautifulSoup
import json
site= "https://www.flightradar24.com/data/airports/bud/arrivals"
hdr = {'User-Agent': 'Mozil
浏览 2提问于2017-07-25得票数 0
回答已采纳
2回答
我正试图通过写剧本来教自己一个概念。基本上，我正在尝试编写一个Python脚本，给定几个关键字，它将爬行网页，直到找到我需要的数据为止。例如，假设我想找到一张生活在美国的蛇类清单。我可能会用关键字list,venemous,snakes,US运行我的脚本，我希望能够至少80%的肯定地相信它会返回美国的蛇列表。
我已经知道如何实现网页蜘蛛部分，我只想学习如何确定网页的相关性，而不知道网页的结构。我已经研究过web抓取技术，但它们似乎都假设了解页面的html标记结构。是否有某种算法可以让我从页面中提取数据并确定其相关性？
任何指示都将不胜感激。我将Python与urllib和BeautifulSo
浏览 9提问于2014-05-28得票数 8
我试图从以下链接：中删除数据，但是在执行以下代码时：
import urllib
from bs4 import BeautifulSoup
import xml.etree.ElementTree as ET
url= "https://www.kickstarter.com/projects/298226251/subform-a-modern-tool-for-digital-product-designer"
html=urllib.urlopen(url).read()
soup=BeautifulSoup(html,"html.parser")
浏览 4提问于2016-10-31得票数 0
回答已采纳
我正试着从URL上盗取一张桌子 我可以使用Scrapestorm工具抓取表格数据。我是python的新手，不能从这个URL获取数据。 from bs4 import BeautifulSoup
page = requests.get('https://pantheon.world/explore/rankings?show=people&years=-3501,2020')
soup = BeautifulSoup(page.text) Excel中所需的输出： enter image description here 从网页上抓取表格数据和图片是可能的吗？
浏览 61提问于2020-12-23得票数 1
回答已采纳
我使用BeautifulSoup的默认html.parser从任何网页中提取数据，没有什么原因让我觉得它比使用XPATH/CSS选择器更灵活、更强大。在抓取之前，我学习了使用BeautifulSoup进行网络抓取。我想不出一种让Scrapy使用bs4作为解析器的方法。有可能吗？
浏览 2提问于2019-08-18得票数 0
回答已采纳
3回答
我正在使用Selenium登录到网页，并获得网页进行抓取，我能够获得该页面。我已经在html中搜索了我想要抓取的表。这就是：
<table cellspacing="0" class=" tablehasmenu table hoverable sensors" id="table_devicesensortable">
脚本是这样的：
rawpage=driver.page_source #storing the webpage in variable
souppage=BeautifulSoup(rawpage,'html
浏览 0提问于2018-02-21得票数 1
我正在使用BeautifulSoup抓取一些网页内容。
我正在学习这个示例代码，但我总是得到一个"None“响应。
代码：
import urllib2
from BeautifulSoup import BeautifulSoup
soup = BeautifulSoup(urllib2.urlopen('http://www.velocidadcuchara.com/2011/08/helado-platano-light.html').read())
post = soup.find('div', attrs={'id': &#
浏览 0提问于2011-08-18得票数 2
回答已采纳
我是beautifulSoup的新手，所以我在这个网站上练习我的网页抓取，文本属性不断破坏.find()函数。这是代码：
from bs4 import BeautifulSoup
import requests
url = 'https://montanahistoriclandscape.com/tag/glasgow-montana/'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'lxml')
article = soup.find('article')
fir
浏览 9提问于2022-06-23得票数 1
回答已采纳
我试图从spotrac.com网站上抓取表格，并将数据保存到熊猫的数据中。无论出于什么原因，如果我正在抓取的表超过100行，则对象只会抓取表的前100行。如果您在下面运行我的代码，您将看到生成的数据只有100行，并以"David“结尾。如果您访问网页()和ctrl+F "David“，您将看到还有其他行。如果您将代码的get行中的网页更改为"“，您将看到同样的事情发生了。只有前100行包含在BeautifulSoup对象和dataframe中。
import pandas as pd
import requests, lxml.html
from bs4 import
浏览 5提问于2020-07-01得票数 0
回答已采纳
2回答
我想从网页上抓取一些内容，这是代码：
import requests
from bs4 import BeautifulSoup
import urllib2
url = "anUrl"
r = requests.get(url)
soup = BeautifulSoup(r.text,'lxml')
print soup.prettify()
这是错误描述:unicodeencodeerror错误：“charmap”编解码器无法在位置上编码字符u‘\u2013:字符映射到未定义的字符
这种错误应该取决于不同的字符，而不是相同的，所以我需要一个通用的解决方案。
浏览 2提问于2015-10-15得票数 2
回答已采纳
我正在尝试从一个网页()中获取第3和第6表，但是pandas.read_html和BeautifulSoup都只在页面上找到前两个表。这是我试过的。
url = 'https://www.pro-football-reference.com/years/2021/'
data_pd = pd.read_html(url)
print(len(data_pd))
输出：
2
而且还
url = 'https://www.pro-football-reference.com/years/2021/'
soup = BeautifulSoup(requests.ge
浏览 2提问于2022-07-01得票数 1
回答已采纳
我需要抓取一个网页()，但我遇到了一个问题--我需要在首页显示的文本绝对隐藏在许多不同的格式化标记中。
我知道如何使用Beautiful Soup抓取常规页面，但这并不能满足我的需要(例如，文本丢失，一些标签通过...)
import requests
from bs4 import BeautifulSoup
from collections import Counter
urls = ['https://www304.americanexpress.com/credit-card/compare']
with open('thisisanew.txt'
浏览 1提问于2014-09-09得票数 0
1回答
我尝试使用BeautifulSoup和请求库来抓取twitter数据。我首先尝试使用BeautifulSoup登录，然后刮掉所需的页面。但这是行不通的。我没有得到我所做的错误。
我正在添加以下代码：
import requests
from bs4 import BeautifulSoup
session_rqst=requests.session()
url="https://twitter.com/login"
r=requests.get(url)
c=r.content
soup=BeautifulSoup(c,"html.parser")
token=
浏览 11提问于2017-11-12得票数 1
1回答
对于使用BeautifulSoup，我仍然有一些不理解的地方。我可以用它来解析网页的原始HTML，这里是"example_website.com"：
from bs4 import BeautifulSoup # load BeautifulSoup class
import requests
r = requests.get("http://example_website.com")
data = r.text
soup = BeautifulSoup(data)
# soup.find_all('a') grabs all element
浏览 2提问于2015-10-14得票数 2
回答已采纳
我试着从维基百科的网页上抓取数据。
页面URL:
这是我目前想出的代码。
代码：
from bs4 import BeautifulSoup
import urllib.request
def make_soup(url):
thepage=urllib.request.urlopen(url)
soupdata=BeautifulSoup(thepage, "html.parser")
return soupdata
soup= make_soup("https://en.wikipedia.org/wiki/2015_in_hip_hop
浏览 3提问于2016-11-21得票数 0
1回答
我已经用BS4写了一个小的网页抓取器，用这个代码我可以一次刮掉一个页面，下面是相关代码。
import csv
from bs4 import BeautifulSoup
import requests
html = requests.get("http://www.gbgb.org.uk/resultsMeeting.aspx?id=129867").text
soup = BeautifulSoup(html,'lxml')
这段代码抓取一个页面，但是我想一次抓取多个页面(一个范围)，所以我尝试像这样添加这个for循环。
import csv
from bs
浏览 1提问于2016-04-02得票数 0
2回答
擦伤体育参考表
、、
我尝试了下面的脚本来抓取网页上的表格。
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://www.sports-reference.com/cfb/play-index/rivals.cgi?request=1&school_id=penn-state&opp_id=purdue'
headers = {'User-Agent':
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36
浏览 4提问于2022-08-22得票数 1
2回答
我正在写一个点燃的评论，并试图让我们，Python，web，抓取摘要等信息，关于其他研究在一个网站。
例如，我想从这个网页中提取“Transcript”的内容，并编写了一个Python代码，但它似乎根本不起作用，也没有提取任何内容：
from bs4 import BeautifulSoup
import requests
url = "https://cdm20045.contentdm.oclc.org/digital/collection/p20045coll17/id/1417/rec/4"
html = requests.get(url,verify=False)
浏览 15提问于2022-09-15得票数 2
我正在尝试使用Beautifulsoup在Indeed.com上通过网络抓取招聘信息。但是，当我抓取URL时，返回的HTML与我在Google Chrome中手动转到URL，然后查看HTML时看到的HTML不同。
这会导致我的应用程序获得一些不在我试图抓取的网页上的招聘信息。
例如，当我抓取时，我的程序找到以下公司名称：
[['Nordic Tech House',
'Beaubi',
'NO COMPANY NAME AVAILABLE',
'National Pen',
'SWEDISH STOCKIN
浏览 0提问于2019-07-10得票数 2
我想在有下一步链接的网页上抓取表格，但是当你点击这些下一步按钮时，URL不会改变。使用python (BeautifulSoup，请求)学习抓取这类表的最好/最简单的资源是什么？
例如，我如何抓取上的表。
浏览 1提问于2017-11-15得票数 0
2回答
我试着用Beautifulsoup4 python模块通过web抓取来获取网页的标题，它返回了一个字符串“无法接受！”作为标题，但是当我通过浏览器打开网页时，标题是不同的。我试着循环浏览链接列表和所有网页的标题，但是它返回的字符串是“不能接受的！”所有的链接。
这里是python代码
from bs4 import BeautifulSoup
import requests
URL = 'https://insights.blackcoffer.com/how-is-login-logout-time-tracking-for-employees-in-office-done-by
浏览 18提问于2022-03-01得票数 0
回答已采纳
2回答
当我使用BeautifulSoup 4.1.0和lxml解析器抓取一些网页时，我注意到一个奇怪的行为。内置的html.parser对我试图抓取的网页不起作用，我决定使用lxml解析器。
我的Eclipse控制台上的打印结果在不到一秒的时间内看起来很好，然后，它自动切换到不完整、无用和外观不佳的输出，所有字符之间都有空格：
! - - S w i t c h - - >
/ d i v >
页面的doc-type为：
<!D
浏览 2提问于2013-06-17得票数 0
这是我第一次使用网络抓取。到目前为止，我能够导航并找到我想要的HTML部分。我也可以打印出来。问题是只打印文本，这将不起作用。当我尝试它时，我得到了以下错误：AttributeError: 'ResultSet' object has no attribute 'get_text'
下面是我的代码：
from bs4 import BeautifulSoup
import urllib
page = urllib.urlopen('some url')
soup = BeautifulSoup(page)
zeug = soup.find_
浏览 0提问于2014-02-25得票数 7
3回答
尝试通过when抓取站点，但Beautifulsoup不能返回仅查看网页时可见的所有文本。请参考下面的代码： import requests
from bs4 import BeautifulSoup
f = open("data.txt", "w")
url = "https://www.hiltongrandvacations.com/en/resorts-and-destinations"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'htm
浏览 51提问于2020-09-18得票数 1
我试图从zone-h.org网页上抓取数据。首先，我通过在脚本中添加cookie绕过了网页captcha错误。然后我用BeautifulSoup抓取这个表并存储它。但是，其中一列没有纯文本；信息存在于引号("...")中。
from bs4 import BeautifulSoup
import requests
import pandas as pd
url = "http://www.zone-h.org/archive/filter=1/published=0/domain=twitter/fulltext=1/page=1?"
cookie = {
浏览 29提问于2019-08-01得票数 0
回答已采纳
我对网络抓取和使用Python语言中的BeautifulSoup库非常陌生，所以我遇到了这个问题:我必须从大量的网页中下载和抓取内容，下载它们不是问题，但是当我为每个页面创建一个BeautifulSoup对象(为了解析它)时，我的程序变得非常慢。我在问您，是否有一种方法可以减少这种开销，并且可能避免为我要分析的每个新页面创建一个不同的全新BeautifulSoup对象。下面是我执行的代码：
for action in actions[:100]:
#Here I download the pages I need
curr_url = base_url
浏览 0提问于2020-10-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
