我正在与scrapy工作，以便从网页的某些部分爬行的内容。我需要的文本被刮完全一样在网页上显示。该网页的结构类似于此。 <div class = "uselessInfo">...</div> Some text
<p>Useful par
浏览 22提问于2020-04-09得票数 0
回答已采纳
在Scrapy蜘蛛的parse()方法中，我们可以在response上使用css()方法来获取所需的信息。例如，我们可以使用response.css("#container")获取以下HTML片段。<div id="container">
<div class="sep">test<&
浏览 0提问于2020-10-12得票数 0
回答已采纳
1回答
我希望使用scrapy从页面email、name of the person making the offer和phone中获取https://www.germanystartupjobs.com/job正如您所看到的，电子邮件和电话是在<p>标签中作为文本提供的，因此很难提取。我的想法是首先在Job Overview中获取文本</
浏览 5提问于2016-12-16得票数 1
回答已采纳
2回答
我正在使用scrapy抓取 name = "tesco" 'https//div[@class="buy-box-container"]/p[2]/text()').extract_first()
learningscrapyItem['price'] = price.
浏览 2提问于2018-04-06得票数 1
如何检索标签中包含的所有HTML？'//span[@class="title"]/html()')</html&
浏览 12提问于2012-07-13得票数 4
我正在尝试使用scrapy从一些可汗学院的视频中获取转录信息。例如：
当我试图通过xpath response.xpath('//div[contains(@role, "tablist")]/a').extract()选择Transcript按钮时，我只得到了带有aria-selected="true"的选项卡的信息，即about部分。我需要使用scrapy将<
浏览 8提问于2016-08-15得票数 1
1回答
因为网站的结构不是固定的。我的想法是首先知道p.title/text()包含“位置”然后找到<p><span class="add但是不要使用sel.xpath("li[1]/div[@class='row']/div</em
浏览 2提问于2014-08-06得票数 1
回答已采纳
我想在下面的html中提取单词白色我使用的是python-scrapy，它只能用Xpath进行提取。使用chrome，我得到了xpath：使用scrapy我得到了
hxs.select('//*[@id=&
浏览 1提问于2013-07-14得票数 2
1回答
按顺序进行抓取索引
、、、
我目前正在使用Scrapy创建一个切分网络爬虫，并尝试使用Elasticsearch对获取的内容进行索引。到目前为止一切正常，但我只能按照爬虫过滤html标签的顺序将内容添加到搜索索引中。所以举个例子到目前为止，我可以从带有类“文章”的di
浏览 0提问于2016-09-01得票数 0
2回答
我试图从这个html片段中获取"<1小时“的文本。<div class="details_wrapper"> <b>Recommended length of visit:</b><div class="det
浏览 3提问于2016-05-02得票数 4
回答已采纳
1回答
我想使用scrapy来获取以下论坛页面的帖子数据：我也附上了我从我的Mac终端得到的输出。import scrapy
class QuotesSpider(scrapy.S
浏览 0提问于2017-11-18得票数 0
试图从如下元素中提取文本：当我尝试使用Scrapy提取"Rest_of_text"时什么都没给我。我是否需要使用一些特殊的命令
浏览 0提问于2018-11-06得票数 0
回答已采纳
1回答
我想要得到抓取项目的总数和脚本运行的日期，并将其插入到Mysql中，我将代码放在Pipeline中，似乎数据的插入是在循环中，当抓取完成时，我应该把那些我想放的数据放在哪里。 有什么想法吗？这是我的代码 import mysql.connector
self.conn.commit() 错误: mysql.connec
浏览 4提问于2019-04-18得票数 0
我正在尝试从instagram图片中获取标签文本，例如：https://www.instagram.com/p/CHPoTitFdEz/，但是Scrapy没有返回任何内容。在我已经写过的Scrapy shell中： response.xpath('//span[@class=""]/a[@class="xil3i"]
浏览 31提问于2020-11-28得票数 0
回答已采纳
1回答
我试图从以下源代码片段中提取url： <a></a>from scrapy.spider import BaseSpider
from scrapy.selectorfor site
浏览 2提问于2017-06-25得票数 1
回答已采纳
1回答
使用Python库Scrapy，我执行以下操作：从那里，我想获得每个返回项目的单独链接+文本：
response.xpath('//div[@class="title-and-desc"]/a'
浏览 1提问于2016-11-28得票数 0
我想使用Scrapy从html页面中提取一些文本。<div></div>有没有办法获得全文( &#
浏览 3提问于2013-11-13得票数 1
回答已采纳
2回答
scrapy无法获得值
、、、
这是我的html代码的相关部分：我创造了一只蜘蛛from scrapy.selector import Selector
class MySpdier(Spider[@class='bo
浏览 0提问于2016-10-05得票数 0
回答已采纳
当我尝试这个的时候，我得到了一个Attribute Error : 'Response' object has no attribute 'css'response.css('我正在尝试从以下标题代码中获取文本“更新初级保健”：response = requests.get
浏览 14提问于2017-08-22得票数 0
这个问题看起来很简单，但我找不到任何文档来阐明正确的方法是什么。 <dt class="title">Date</dt>
<dd class="info">1
浏览 1提问于2018-09-25得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
