BeautifulSoup/Scrapy:与在Firefox中查看的源BeautifulSoup不同
BeautifulSoup和Scrapy是两个常用的Python库，用于爬取和解析网页数据。它们与在Firefox中查看的源码不同的地方在于：
- BeautifulSoup是一个用于解析HTML和XML文档的库，它可以从网页中提取数据，并提供了简单灵活的API来遍历和搜索文档树。与在Firefox中查看的源码相比，BeautifulSoup可以将网页源码解析为结构化的数据，使得数据提取更加方便。
- Scrapy是一个强大的Python爬虫框架，它提供了一套完整的工具和机制来爬取网页并提取数据。与在Firefox中查看的源码相比，Scrapy可以自动化地处理网页请求、跟踪链接、解析网页内容，并支持数据的持久化存储。它具有高度的可定制性和扩展性，适用于大规模的爬虫任务。
这两个工具在云计算领域的应用场景包括：
- 数据采集和分析：BeautifulSoup和Scrapy可以用于从网页中提取数据，例如抓取新闻、商品信息、社交媒体数据等。这些数据可以用于市场调研、舆情分析、数据挖掘等领域。
- 网络监测和安全：通过定期爬取网页并分析其内容，可以实现对网络安全威胁的监测和预警。例如，可以通过爬取恶意网站的源码来检测潜在的安全漏洞。
- 数据清洗和预处理：在进行数据分析和建模之前，通常需要对原始数据进行清洗和预处理。BeautifulSoup和Scrapy可以帮助我们从网页中提取数据，并进行去重、格式转换、缺失值处理等操作。
腾讯云相关产品中，与BeautifulSoup和Scrapy相对应的是腾讯云的爬虫服务和数据万象服务。
- 腾讯云爬虫服务（https://cloud.tencent.com/product/crawler）：提供了一站式的爬虫解决方案，包括爬虫开发、调度和管理等功能。可以帮助用户快速构建和部署爬虫任务，实现数据的高效采集和处理。
- 腾讯云数据万象服务（https://cloud.tencent.com/product/ci）：提供了丰富的图像和视频处理能力，包括图像识别、内容审核、视频转码等功能。可以与BeautifulSoup和Scrapy结合使用，实现对爬取的图片和视频数据的处理和分析。
总结：BeautifulSoup和Scrapy是云计算领域常用的网页爬取和解析工具，可以帮助用户从网页中提取数据，并应用于数据采集、网络监测、数据清洗等场景。腾讯云提供了相应的爬虫服务和数据处理服务，可以与这两个工具结合使用，实现更加高效和便捷的数据处理和分析。
相关·内容
1回答
我已经用Scrapy创建了一个简单的爬虫程序，它从给定的链接开始，跟踪给定DEPTH_LIMIT中的所有链接，由于项目参数的原因，每次运行爬行器时都会对其进行调整。为了简单起见，该脚本打印响应URL。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from NONPROF.items import NonprofItem
from scrapy.http import Request
import re
class Nonpr
浏览 12提问于2018-01-04得票数 2
回答已采纳
我有下面的python/scrapy测试代码，只是想看看是否可以从页面中获得一个值
import scrapy
import requests
import funcs as fnc
headers = requests.utils.default_headers()
headers.update({ 'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'})
class QuotesSpider(scrapy.Spider
浏览 3提问于2020-03-10得票数 0
3回答
以不同的方式使用刮伤处理分页站点
、、、、
我用python编写了一个脚本，使用scrapy解析网页中的一些信息。该网页中可用的数据通过分页遍历。如果我选择使用response.follow()，那么我就可以完成它。但是，我想遵循我在requests中实现的逻辑，BeautifulSoup在scrapy中实现，但是找不到任何概念。
使用requests和BeautifulSoup，我可以想出这样的方法，它做得很好：
import requests
from bs4 import BeautifulSoup
page = 0
URL = 'http://esencjablog.pl/page/{}/'
while T
浏览 0提问于2018-04-20得票数 0
回答已采纳
我想提取所有的链接到香水品牌的this website webpage。 ? 我会想做一个抓取所有href的抓取器，就像我在BeautifulSoup上做的那样： soup = BeautifulSoup(requests.get('https://www.nosetime.com'+ url,
headers=headers).content, 'html.parser')
print(soup)
result = soup.find_all(
浏览 53提问于2020-11-08得票数 0
回答已采纳
我正在尝试通过运行以下命令在本地设置Scrapy docker env
docker build -t scrapy .
我的错误越来越少
获取:20 精确发布49.6 kB Get:21 仿生支持/宇宙amd64软件包2975 B Get:22 精密Release.gpg 198 B Ign:22 精密Release.gpg阅读软件包列表.
W: GPG错误：精确发布:由于公钥不可用，无法验证以下签名: NO_PUBKEY 40976EAF437D05B5B5E:存储库“精确发布”未签名。命令'/bin/sh apt -c‘返回一个非零代码: 100
我的Docker文件看起
浏览 1提问于2018-11-21得票数 4
回答已采纳
我使用"scrapy“测试xpath。看上去：
scrapy shell https://item.taobao.com/item.htm?spm=a219e.1191392.1111.1.FglWUh&id=40978681727&scm=1029.newlist-0.1.50002766&ppath=&sku=&ug=#detail
xpath看起来像：
response.xpath("//a[@class='shop-name-link']")
结果为无，但页面内容包含
<a class="s
浏览 1提问于2016-04-22得票数 0
2回答
我想在课堂上打印课文。
这是HTML片段(它在许多类中，但在可视化中，它在Prestige->旁边)。
<div class="sc-ikPAkQ ceimHt">
9882
</div>
THis是我的代码->
from bs4 import BeautifulSoup
import requests
URL = "https://auntm.ai/champions/abomination/tier/6"
page = requests.get(URL)
soup = BeautifulSoup(page.con
浏览 3提问于2021-08-31得票数 0
回答已采纳
1回答
我用刮痕爬行我的网站
我的蜘蛛如下：
from scrapy.spider import BaseSpider
from bs4 import BeautifulSoup ## This is BeautifulSoup4
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from blogscraper.items import BlogArticle ## This is for saving data.
浏览 1提问于2013-10-30得票数 3
回答已采纳
<table id="myTable" class="table table-striped table-bordered text-center table-condensed removeSidePadding" style="" xpath="1">
<thead class="success" style="padding: 15px; font-family: 'Nunito', sans-serif;"></thead>
&l
浏览 51提问于2020-07-27得票数 0
我在一个大规模的项目中使用Scrapy，计算的很大一部分用于解析网页。
我想知道Scrapy的css和xpath选择器是为了最佳的算法效率而优化的，还是应该使用在内部使用lxml的BeautifulSoup4。
浏览 1提问于2015-07-12得票数 0
回答已采纳
我正在尝试一个scrapy包。
我已经按照上面github主页上的说明进行了操作。我开始了一个新的scrapy项目，并创建了一个爬虫：
from scrapy_selenium import SeleniumRequest
from shutil import which
SELENIUM_DRIVER_NAME = 'firefox'
SELENIUM_DRIVER_EXECUTABLE_PATH = which('geckodriver')
SELENIUM_DRIVER_ARGUMENTS=['-headless'] #
浏览 19提问于2019-07-06得票数 1
回答已采纳
1回答
我想知道是否有一种方法可以将Scrapy放入子目录并导入它。我用BeautifulSoup完成了这个操作，而不是安装它，而是将bs4目录放到我的应用程序的目录中，然后导入它：
from bs4 import BeautifulSoup
在我从scrapy.org下载的源代码中，没有scrapy.py，所以我尝试导入
from scrapy import *
这还回了一大堆错误。
Traceback (most recent call last):
File "C:\Users\Kat\Desktop\linkscrape\cookie.py", line 1, in <m
浏览 2提问于2016-01-02得票数 1
回答已采纳
我是Scrapy的新手，试着用它来练习爬行网站。然而，即使我遵循本教程提供的代码，它也不返回结果。看起来yield scrapy.Request不起作用。我的代码如下：
Import scrapy
from bs4 import BeautifulSoup
from apple.items import AppleItem
class Apple1Spider(scrapy.Spider):
name = 'apple'
allowed_domains = ['appledaily.com']
start_urls =['htt
浏览 8提问于2017-07-10得票数 1
回答已采纳
我正在尝试提取在视频标签中找到的HTML5视频的源链接。使用Firefox webdrive，我可以得到想要的结果-
[<video class="video-stream html5-main-video" src='myvideoURL..'</video>]
但是如果我使用PhantomJS -
<video class="video-stream html5-main-video" style="width: 854px; height: 480px; left: 0px; top: 0px; -webk
浏览 18提问于2016-09-03得票数 4
问:有没有一种方法可以将BeautifulSoup的html5lib解析器集成到一个刮伤项目中--而不是scrapy的默认lxml解析器？
Scrapy的解析器(对于某些元素)在我的刮页中失败了。
每20页中只有2页会发生这种情况。
作为一个修复，我已经将BeautifulSoup的解析器添加到项目(它可以工作)中。
尽管如此，我觉得我的工作是加倍的条件和多parsers...at的一个特定的点，是什么原因使用Scrapy的解析器？
这段代码确实让人觉得work....it是一个黑客。
我不是专家--有什么更优雅的方法吗？
提前升值
更新：
将中间件类添加到scrapy (来自python包)
浏览 0提问于2019-05-07得票数 0
回答已采纳
1回答
我对Scrapy和Python很陌生。我一直在努力从两个网站中提取数据，如果我直接使用python，它们会很好地工作。我已经调查过了，我想爬上这些网站：
homedepot.com.mx/comprar/es/miguel-aleman/home (工作完美)
vallenproveedora.com.mx/ (不工作)
有人能告诉我怎样才能让第二个链接起作用吗？
我看到了这样的信息：
DEBUG: Crawled (200) allenproveedora.com.mx/> (referer: None) ['partial']
但我找不到解决问题的办法
浏览 15提问于2016-08-21得票数 2
回答已采纳
我正在尝试学习如何使用python scrapy，我想知道我是否可以从vscode调试控制台手动请求网站。通常情况下，我会使用python请求和BeautifulSoup来获取网站html，并且我会键入以下内容 resp = requests.get(website) 在vscode中直接进入调试控制台。从那里我可以向网站发出更多的请求，而不需要重新启动调试器。然而，当我使用scrapy时，我找不到一种方法来做同样的事情，因为scrapy请求会被产生/返回。我的请求示例： yield scrapy.Request(website, callback=self.parse_site}) 如果我
浏览 23提问于2021-11-01得票数 0
1回答
我是Scrapy的新手，所以请原谅这个愚蠢的问题。 import scrapy
from bs4 import BeautifulSoup
from scrapy_proj.scrapy_proj.items import PageSourceLoc, ItemField
from scrapy.loader import ItemLoader
from scrapy.http.response import Response
from scrapy import Selector
class MySpider(scrapy.Spider):
name = 'websou
浏览 36提问于2021-07-03得票数 0
我想用Scrapy和Selenium从亚马逊网站上提取产品的信息。
下面的源代码连接到Amazon网站，然后通过字母"A“进行搜索。然后恢复搜索结果集的链接。但是，当我循环到每个搜索结果时，什么都不会发生(它只是连接到第一个结果)。谢谢你帮我更正这段代码。
源代码“蜘蛛”
from scrapy.contrib.spiders import CrawlSpider
from selenium import webdriver
from selenium.webdriver.support.select import Select
from time im
浏览 3提问于2015-07-20得票数 0
1回答
我正在寻找Python的框架，以从数千个不同的网站中提取关键信息，如“办公地点”、“首席执行官”等。理想情况下，脚本应该在网站网址中阅读，识别一些“关键术语”，如“位置”、“办公室”、“团队成员”等，并打印相应的度量标准。
我唯一相关的经验是在使用Scrapy时提取一个特定网页上的模式的信息(即从维基百科中提取表格)，但不确定Scrapy或BeautifulSoup是否适用于这类项目。想知道Scrapy是否是我的最佳选择，如果是的话，这种类型的项目将使用什么正确的语法。我已经尝试过一些变体
import scrapy
from bs4 import BeautifulSoup
import u
浏览 6提问于2022-01-12得票数 1
回答已采纳
我通过scrapy shell获得响应。WHen我用的是view(reponse)，在浏览器上看到结果，有个tbody标签。但是我检查了shell中的tbody标记，它丢失了。我想知道原因。
它是scrapy版本1.7和python3.6。我使用Chrome Inspect工具检查元素，找到标签<tbody>，如下所示：
但我检查了shell：
[in] "tbody" in response.text
[out] False
[in] "tr" in response.text
[out] True
所以我觉得这很奇怪。为什么会发生这种情况？
浏览 0提问于2019-08-31得票数 0
我有一些本地HTML文件，需要从中提取一些元素。我习惯于在xpath和css以及.extract()和.extract_first()中使用内置选择器来编写Scrapy和提取元素。
有没有可以做到这一点的库？
我检查过BeautifulSoup和lxml，但它们的语法与Scrapy不同。
例如，我想做这样的事情：
sample_file = "../raw_html_text/sample.html"
with open(sample_file, 'r', encoding='utf-8-sig', newline='') as
浏览 17提问于2020-02-22得票数 1
回答已采纳
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
当我使用Selenium library在Requests library通道页中找到相关通道的长度时，它给了我12条，但是当我使用Requests library找到相关通道的长度时，它给了我0。
我想使用请求，如果可能的话请帮助我
我的代码
请求
import requests
from bs4 import BeautifulSoup
import time
r = requests.get("https://www.youtube.com/channel/UCoykjkkJxsz7JukJR7mGrwg/about")
soup = BeautifulSoup(r.co
浏览 2提问于2017-10-14得票数 3
3回答
我想废除这个网站：，meetic.com的法语版本。
目标是知道在authentification.之后有多少人被连接(页面顶部显示)
这是蜘蛛：( kobeddl，stack123456是真正的登录，如果你想尝试的话)
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import FormRequest, Request
from meetic.items import MeeticItem
class MeeticSpider(Base
浏览 5提问于2012-12-30得票数 0
回答已采纳
1回答
尽管我成功地执行了scrapy shell中的大部分代码行，但我还是得到了空白的json文件。当我运行命令scrapy crawl courses时，我的课程机器人是：
from scrapy.spiders import CrawlSpider
from scrapy.linkextractors import LinkExtractor
from tutorial.items import CoursesItem
from bs4 import BeautifulSoup
import scrapy
class CoursesSpider(CrawlSpider):
name =
浏览 2提问于2015-08-08得票数 4
3回答
如何以类似的方式设置Scrapy的用户代理，如下所示：
import requests
from bs4 import BeautifulSoup
ua = {"User-Agent":"Mozilla/5.0"}
url = "http://www.example.com"
page = requests.get(url, headers=ua)
soup = BeautifulSoup(page.text, "lxml")
我的蜘蛛看起来就像这样：
import scrapy
from scrapy_splash impor
浏览 0提问于2017-09-04得票数 5
回答已采纳
我试图用scrapy和BeautifulSoup抓取这个link，但是由于某种原因，BeautifulSoup不能在爬行器中工作，它只能在scrapy shell中工作。我知道这听起来可能很愚蠢，但是，如何将其转换为Xpath呢？ soup.find('li', {'class': 'at-listing__list-icons_location'}) 我试过了 response.xpath('//li[contains(text(),"at-listing__list icons_location")]/../desc
浏览 13提问于2020-08-12得票数 0
回答已采纳
我是生手，蟒蛇。我试图在scrapinghub中部署蜘蛛代码，但遇到了以下错误。下面是密码。
import scrapy
from bs4 import BeautifulSoup,SoupStrainer
import urllib2
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
import re
import pkgutil
from pkg_resources import resource_string
from tues1402.items import Tues1402Item
浏览 0提问于2017-02-14得票数 0
回答已采纳
我使用下面的片段从谷歌搜索结果中获得我给出的“关键字”链接。
import mechanize
from bs4 import BeautifulSoup
import re
def googlesearch():
br = mechanize.Browser()
br.set_handle_robots(False)
br.set_handle_equiv(False)
br.addheaders = [('User-agent', 'Mozilla/5.0')]
br.open('http://www.g
浏览 4提问于2014-02-21得票数 3
回答已采纳
1回答
我正在尝试浏览一个aspx站点。我的脚本只生成： [] 进程已完成，退出代码为0 我的代码如下： import requests
import bs4
url = "https://www.brightmlshomes.com/Listing/ListingSearch.aspx"
page = requests.get(url)
src = page.text
soup = bs4.BeautifulSoup(src, 'lxml')
final_results = []
for tmp in soup.find_all('div&#
浏览 22提问于2020-07-25得票数 0
2回答
我的背景是：
正如你所知道的，Chrome，Firefox，Safari上的网站HTML结构是非常不同的。因此，当我使用CSS-Selector从HTML结构中获取元素标记中的数据时，有时这个标记已经在Chrome浏览器中有了，而另一个则没有。因此，我只想专注于一个浏览器，以减少我的工作量。
当我使用Scrapy框架从urls抓取数据时，我不知道Scrapy将使用哪个浏览器来抓取数据。因此，我也不知道返回哪种HTML响应体。我检查了响应，我发现，有时结构是相同的，从Chrome，但有时它不是。看起来Scrapy框架使用了许多不同的web浏览器来抓取数据。
我想要的：
我只想
浏览 0提问于2018-12-05得票数 0
回答已采纳
1回答
特定站点的刮伤和飞溅时间
、、、、
在尝试从这个Scrapy获取响应时，Crawlera和Splash遇到了问题。
我没有运气就试了以下几个：
纯Scrapy外壳超时
Scrapy + Crawlera -超时
Scrapinghub Splash实例(小)-超时
不过，我可以使用Selenium的Firefox来刮这个站点。但我想从这一点出发，转而使用Splash。
有没有解决办法来避免这些超时？
注意：
如果我使用由Splash设置的本地实例，站点将加载，不过与FirefoxWebdriver10秒相比，20+仍然需要几秒时间。
浏览 1提问于2018-01-18得票数 3
1回答
刮伤和囊袋
、、、
我试图使用Scrapy和Splash从网站"whoscored.com“中检索数据。这是我的设置：
BOT_NAME = 'scrapy_matchs'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'scrapy_matchs (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure m
浏览 5提问于2019-10-30得票数 3
回答已采纳
我正试图在每一份盈利报告中分析表(资产负债表)中的一些数据。这里我以AMD为例，但不限于AMD。
这是
我现在的问题是，我无法读到任何东西--我的蜘蛛总是返回空的结果。我使用scrapy shell "http://example.com"测试我的xpath，我直接从Google检查器复制它，但它仍然没有工作。
这里是我的xpath (提供了Chrome浏览器)：
//*[@id="newsroom-copy"]/div[2]/div[8]/table/tbody/tr[9]/td[4]/text()
这是我的代码：
import scrapy
class E
浏览 0提问于2016-09-27得票数 1
回答已采纳
2回答
抓取需要向下滚动的网站
、、、、
我试着在这里抓取这个网站：
但是，它需要我向下滚动才能收集其他数据。我不知道如何使用美汤或蟒蛇向下滚动。这里有人知道怎么做吗？
代码有点乱七八糟，但它就在这里。
import scrapy
from scrapy.selector import Selector
from testtest.items import TesttestItem
import datetime
from selenium import webdriver
from bs4 import BeautifulSoup
from HTMLParser import HTMLParser
import re
import
浏览 5提问于2017-08-11得票数 7
回答已采纳
1回答
刮刮机没有正确地刮除图像
、、、、
我正在尝试使用Scrapy刮这个网站。
首先是我的代码-：
from twisted.internet import reactor
from scrapy.crawler import CrawlerProcess, CrawlerRunner
import scrapy
#from scrapy import log, signals
from scrapy.utils.log import configure_logging
#from dmoz.spiders.dmoz_spiders import DmozSpider
#from dmoz.spiders.bigbasketspid
浏览 2提问于2015-07-02得票数 1
回答已采纳
我试图通过BeautifulSoup 4从中提取每股收益数据。
当我解析数据时，使用默认的lxml和HTML5解析器丢失表信息。我相信这与Javascript有关，我一直在尝试实现PyV8，将脚本转换为可读的BS4 HTML。问题是我不知道从这里往哪里走。
你知道这是不是我的问题吗？我读了很多帖子，今天我很头疼。下面是一个简单的例子。financeWrap包含表信息，但是beautifulSoup显示它是空的。
import requests
from bs4 import BeautifulSoup
url = "http://financials.morningstar.com/
浏览 0提问于2014-10-21得票数 1
回答已采纳
爬虫只返回目标url元素的最后一个值。但我假设要获取每个元素的值的列表，并将它们弹出到项中。
# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup
from scrapy_practice.items import ScrapyPracticeItem
class DmozSpider(scrapy.Spider):
name = 'dmoz'
allowed_domains = ['www.dmoz.org']
start_urls = (
浏览 5提问于2016-08-04得票数 0
回答已采纳
1回答
我写了一个脚本，使用刮除从一个网站获得name，phone号码和email。我想要的内容可以在两个不同的链接中获得，比如在一个链接中的name和phone中，而email在另一个链接中。我在这里以yellowpages.com为例，尝试以这样的方式实现逻辑，以便即使在email的登陆页面中也可以解析它。这是我不能使用元的一个要求。然而，我使用requests和BeautifulSoup结合scrapy来完成符合上述条件的工作，但速度确实很慢。
工作一个(与requests和BeautifulSoup一起工作)：
import scrapy
import requests
from bs4 im
浏览 2提问于2019-03-08得票数 0
回答已采纳
3回答
我创建了一个脚本，使用scrapy来递归解析来自这个的区域的所有链接。有必要进行递归，因为其中的大多数链接都有子链接等等。
下面的脚本似乎相应地刮掉了所有的墨水。但是，我不能做的是在unique_links中重用parse_content方法中的链接。如果在递归过程中尝试使用链接，脚本将在parse_content方法中使用大量重复链接。我在parse方法中的两行注释之后添加了一个虚构的代码块来表示我希望做的事情。
import scrapy
from bs4 import BeautifulSoup
from scrapy.crawler import CrawlerProcess
cl
浏览 6提问于2020-10-13得票数 1
3回答
用python刮网站
、、、、
我刚开始吃蟒蛇。我试图在网上刮一个网站，以获取价格和标题从它。我已经看过多个教程和博客，最常见的库是漂亮汤和scrapy。如果有一种方法可以在不使用任何第三方库(如beautifulsoup和scrapy )的情况下抓取一个网站，那么就可以使用beautifulsoup。It can use builtin libraries请推荐我一个博客、文章或教程，这样我就能学到
浏览 1提问于2020-06-09得票数 1
回答已采纳
我正在尝试从网站上删除图片。我试过了scrapy(使用Docker)和scrapy/and。刮痕似乎在windows10家里不起作用，所以我现在正在尝试硒/美丽汤。我将Python3.6与Spider一起使用到Anaconda中。
我需要的href元素是这样的：
<a class="emblem" href="detail/emblem/av1615001">
我要面对的主要问题：
我应该如何选择href和美丽的汤？在下面的代码中，您可以看到我尝试了什么(但没有成功)。
由于可以观察到href只是通向url...how的部分路径，我应该处理这
浏览 4提问于2017-12-05得票数 2
回答已采纳
6回答
我成功地使用pip安装了不同的模块，它们显示在
pip list
例如：
beautifulsoup4 (4.4.1)
requests (2.10.0)
Scrapy (1.1.0)
离航站楼
然而，每当我试图导入它
import beautifulsoup4 / import bs4或import Scrapy或import requests
显示了以下错误：
$ python
Python 2.7.5 (default, Mar 9 2014, 22:15:05)
[GCC 4.2.1 Compatible Apple LLVM 5.0 (clang-500.0.68)] on da
浏览 11提问于2016-05-20得票数 31
回答已采纳
这个sript是有效的，但我知道有更多的urls可用，我需要添加什么才能切换到下一页。例如，我喜欢获取第一个、第二个和第三个google页面上的所有urls？谢谢你的帮忙! import time
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.
浏览 16提问于2020-01-19得票数 1
我创建了一个蜘蛛来解析来自相同站点(由文本文件提供的)登陆页面的不同容器的链接，然后使用该链接从它的内部页面获得标题。很少有链接有下一页按钮，蜘蛛相应地处理。
蜘蛛确实解析了内容，但是落入了由dont_filter=True参数引起的无限循环中。如果我不使用该参数，那么蜘蛛就不会重用一些一开始就无法产生所需响应的链接。
我在三个地方使用了这个参数dont_filter=True。
在中间件中的_retry()方法
在parse()方法的最后一行中
在parse_content()方法的最后一行中
我创造的蜘蛛：
import os
import scrapy
import
浏览 2提问于2020-08-16得票数 2
回答已采纳
2回答
搜索结果未出现以进行刮擦
、、、
最近，我一直在学习网络抓取，目的是抓取一些新闻网站。今天我第一次尝试搜索一些搜索结果，但令我惊讶的是，尽管我可以在Google的检查器上找到它们，但它们并没有出现在我的BeautifulSoup对象上。
我试过刮这个网站：
我注意到链接在div标签下，带有类“gsc-wrapper”，所以我尝试：
html = urlopen('https://www.latercera.com/search/?q=camila%20vallejo')
bs = BeautifulSoup(html, 'html.parser')
bs.find('div',{
浏览 0提问于2018-08-13得票数 0
回答已采纳
1回答
我想从网上下载图片，并根据图片的标题名称将它们存储到单独的文件中。我开发了一个刮刀器来获取到这些图像的链接，但是当我包含files_pipeline时，我不能在下载每个图像时将.png附加到每个图像中，而不能将名称从SHA1哈希码更改为我在title中提取的名称。
到目前为止，我的情况如下：
import scrapy
from scrapy_playwright.page import PageCoroutine
from scrapy.item import Field
from scrapy.loader import ItemLoader
from itemloaders.proces
浏览 8提问于2022-02-23得票数 0
默认情况下，Scrapy在项目根目录中使用scrapy.cfg。有没有办法告诉它使用不同的.cfg文件？
浏览 1提问于2011-10-14得票数 0
回答已采纳
我试图通过运行scrapy genspider -t crawl newspider "example.com"来创建一个新的蜘蛛。这是在最近创建的蜘蛛项目目录C:\Users\donik\bo_gui\gui_project中运行的。因此，我得到了一条错误消息：
File "C:\Users\donik\bo_gui\gui_project\gui_project\spiders\requisites.py", line 6, in <module>
from gui_project.gui_project.updated_kw imp
浏览 4提问于2020-11-13得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
