lxml xpath path/text()无法在'.‘时返回值。以scrapy的形式出现
lxml是一个Python库，用于解析和处理XML和HTML文档。XPath是一种用于在XML和HTML文档中定位元素的语言。在使用lxml库中的XPath时，可以使用路径表达式来选择特定的元素或属性。
在XPath路径表达式中，'.'表示当前节点。而在lxml中，使用XPath的path/text()语法可以获取当前节点的文本内容。然而，如果当前节点没有文本内容，或者当前节点是一个元素节点而不是文本节点，那么path/text()将返回空值。
在Scrapy框架中，可以使用lxml库和XPath来解析和提取网页数据。如果在使用Scrapy时遇到了lxml xpath path/text()无法在'.'时返回值的问题，可能有以下几个原因：
- 当前节点没有文本内容：如果当前节点没有文本内容，
path/text()将返回空值。可以通过检查当前节点是否存在文本内容来解决此问题。 - 当前节点是一个元素节点：如果当前节点是一个元素节点而不是文本节点，
path/text()将返回空值。可以尝试使用path/或path//来选择子节点或后代节点。 - XPath路径表达式错误：如果XPath路径表达式不正确，可能导致
path/text()无法返回值。可以检查XPath路径表达式是否正确，并根据需要进行调整。
总结起来，当使用lxml库和XPath时，如果lxml xpath path/text()无法在'.'时返回值，可以检查当前节点是否有文本内容，是否是一个元素节点，以及XPath路径表达式是否正确。根据具体情况进行调整和修正。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 腾讯云物联网平台（IoT Hub）：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发平台（MPS）：https://cloud.tencent.com/product/mps
- 对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（TBC）：https://cloud.tencent.com/product/tbc
- 腾讯云元宇宙（Tencent XR）：https://cloud.tencent.com/product/xr
相关·内容
我正在编写一个Scrapy项目。我已经测试了所有的东西，但是当我解析一个页面时，它会返回TypeError: Argument must be bytes or unicode, got 'list'。我已经使用测试了shell中的所有东西，但是我似乎找不到哪里有问题。我的所有shell命令只返回一项(即没有逗号)。
有人知道为什么会这样吗？
from scrapy.spiders import Spider
from scrapy.selector import HtmlXPathSelector
from scrapy.loader import XPathItemLoad
浏览 0提问于2015-10-18得票数 1
1回答
无法爬行多个页面
、、、
我试图从中抓取引号、作者姓名和标签。我能够用下面的代码爬行单个页面
import scrapy
class goodReadsSpider(scrapy.Spider):
#identity
name='goodreads'
#requests
def start_requests(self):
url = 'https://www.goodreads.com/quotes?page=1'
yield scrapy.Request(url=url,callback=self.parse)
#reponse
def parse(self
浏览 0提问于2019-05-29得票数 0
回答已采纳
1回答
我试着刮所有的文章在一个网站，以获得全文，日期和标题。我使用xpath来捕获我需要的信息。我试图在编写xpath时非常小心，但是当我运行我的代码时，它不会产生任何结果。
错误信息：
result = xpathev(query, namespaces=nsp,
File "src/lxml/etree.pyx", line 1582, in lxml.etree._Element.xpath
File "src/lxml/xpath.pxi", line 305, in lxml.etree.XPathElementEvaluator.__cal
浏览 3提问于2022-07-20得票数 0
回答已采纳
我试图解析这个网站的帖子，收集文本进行情感分析。这是我正在使用的代码。
# ~/dcscraper/dcscraper/spiders/spider.py
import scrapy
import pandas as pd
class dcscraper(scrapy.Spider):
name = "dcscraper"
def start_requests(self):
start_urls = ["https://gall.dcinside.com/board/lists?id=bitcoins_new1&page=1
浏览 21提问于2022-11-22得票数 0
1回答
我需要检查包含非ascii字符的刮过的字段。当我在蜘蛛中包含一个utf-8文字时，我会得到以下错误：
ValueError:所有字符串必须与XML兼容: Unicode或ASCII，没有空字节或控制字符
下面是一个生成错误的示例
# -*- coding: utf-8 -*-
import scrapy
class DummySpider(scrapy.Spider):
name = 'dummy'
start_urls = ['http://www.google.com']
def parse(self, response):
浏览 6提问于2015-11-24得票数 2
回答已采纳
我正在尝试通过xpath文本包含内容来获取类似这样的元素。
<p><strong>Полное наименование</strong></p>
结果，我得到了这个错误。
In [4]: response.xpath("//p[contains(text(),'Полное')]").extract()
---------------------------------------------------------------------------
ValueError
浏览 1提问于2018-08-16得票数 4
回答已采纳
1回答
我想要抓取这个网站按字母顺序排列的所有页面的链接： ? 也就是说，像这样的链接： ['/pinpai/2-a.html','/pinpai/3-b.html'...] 以便在这些东西中多取一些东西。 遵循this advanced webscraping tutorial，我激励自己学习xpath过滤。因为它们看起来不到17个字符，而且我在一个文档上找到了一些长度过滤资源，所以我尝试在下面这个scrapy scraper的爬行器中根据它们的长度来过滤链接： import scrapy
class NosetimeScraper(scrapy.Spid
浏览 42提问于2020-11-07得票数 0
回答已采纳
1回答
我正在使用python的readability -IXML模块，我有一个从请求中加载的文本，使用下面的可读性，并希望使用xpath获得其内部元素
<a class="media__link" href="/news/world-us-canada-38977644" rev="hero1|headline">
Republicans seek Flynn investigation
浏览 0提问于2017-02-15得票数 0
我正在尝试产生一个标签的价值，这个标签并不总是出现在我用Scrapy抓取的页面中。我使用的是extract()函数，而不是extract_first()。因此，我似乎无法像中建议的那样设置默认值。
这不起作用：
def parse(self, response):
yield {
'comments': response.css('[itemprop=commentCount]::attr(content)').extract(default=None)
}
当我想使用extract()而不是extract
浏览 0提问于2018-11-10得票数 2
2回答
我有一个包含XML文件的文件夹，我正在尝试计算一个元素中特定单词的出现次数。更具体地说，我想计算单词"Impfstoff“(在元素”mpeg7text:Keyword“中)在文件夹中所有XML中的出现次数。XML如下所示： <?xml version="1.0" encoding="UTF-8" standalone="true"?>
-<Description xsi:type="ContentEntityType">
-<MultimediaContent xsi:type=&
浏览 28提问于2021-06-28得票数 0
我有这个代码，从网址中提取一堆东西，并遵循一些链接，但我想获得网站上所有现有的文本。在response.css()中，是否有一个属性可以让您选择每个现有的标记？
import scrapy
from bs4 import BeautifulSoup
import nltk
import lxml.html
import pandas as pd
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class QuotesSpider(scrapy.Spid
浏览 0提问于2018-04-17得票数 0
我试图抓取一个网站，但是我在Scrapy的响应对象上使用的Xpath表达式有问题。
根据我对XPath的了解，我认为我使用的是正确的XPath表达式。
所以我用浏览器加载网页，然后下载并保存为HTML文件。
然后，我尝试了两种不同的XPath表达式。
第一种方法是使用Python的lxml.html模块打开文件，并将其作为HTMLParser对象加载。
第二种方法是使用Scrapy并将其指向保存的HTML文件。
在这两种情况下，我使用了相同的XPath表达式。但我得到了不同的结果。
示例HTML代码是这样的(不完全是这样，但我不想逐字发布大量代码)：
<html>
<bo
浏览 0提问于2020-07-18得票数 0
回答已采纳
2回答
以下是问题的后续内容
我目前正在开发一个刮板第一次使用刮刀，我也是第一次使用产量。我对产量是如何工作的感到非常困惑。
刮刀：
抓取一页以获得日期范围的列表
使用这些日期范围来格式化URLS，然后再刮除另一个页面，其中包含的列表被分页为10个列表组。
我想废除所有这些链接到10个清单的urls
然后，在这些页面上，我想废除所有的列表并从它们中提取数据。这些单独的列表也有4个“选项卡”，需要刮掉。
类MyScraper(scrapy.Spider)：name = "myscraper“start_urls = def解析(self，response)：rows = resp
浏览 2提问于2017-01-23得票数 0
1回答
我正在构建一个遍历多个分页页面并从站点提取数据的爬虫：
这就是蜘蛛：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from lxml import html
from usnews.items import UsnewsItem
class UniversitiesSpider(scrapy.Spider):
name = "universities"
浏览 0提问于2016-05-12得票数 0
1回答
如何在使用lxml / scrapy选择器xpath后获得原始的html实体？
我已经尝试了lxml而不是parsel包，同样的问题。
mytext = '<html><body><span>go od</span></body></html>'
sel = parsel.Selector(text=mytext)
sel.xpath('//body').extract()
实际输出：
['<body><span>go\xa0od</s
浏览 19提问于2019-11-06得票数 1
1回答
我刚开始刮擦，需要做一件事。我以前经常使用lxml
elements = careers.xpath('//text()[contains(., "engineer")')
从那以后我就能做到
element = elements[0].getparent()
不幸的是，我不能对scrapy做同样的事情。
我试着做
response.xpath('//text()[contains(., "engineer")')
以及来自这些元素中的任何一个的.getparent()，但是它说选择器没有属性getparent。对scrapy也
浏览 0提问于2018-05-21得票数 0
回答已采纳
我无法抓取“关键字”的内容。>"<我已经尝试了许多方法，但仍然失败。
我已经成功地检索了其他内容，但仍然无法获取“关键字”内容。
有人能帮助修复这个bug吗？？关键字内容位于"#keyword_table a"，或XPath "//*@id="keyword_table"/tbody/tr/td2/a“
关键字内容图片：
我的代码：
import scrapy
from bs4 import BeautifulSoup
from digitimes.items import DigitimesItem
class di
浏览 8提问于2016-07-26得票数 0
回答已采纳
1回答
我试着从这个网站上抓取数据：
我为原始数据制作了以下脚本：
import scrapy
class WaiascrapSpider(scrapy.Spider):
name = 'waiascrap'
allowed_domains = ['clsaa-dc.org']
start_urls = ['https://aa-dc.org/meetings?tsml-day=any&tsml-type=IPM']
def parse(self, response):
rows = resp
浏览 0提问于2021-08-20得票数 1
回答已采纳
我试图访问url 中以下表元素的所有数据，我尝试使用scrapy爬行数据。但是无法爬行，出现了一些错误，我无法爬行所需的所有数据。请帮助我更正我的代码爬行‘名称’，‘图片链接’，‘如何进行锻炼’和所有其他数据在表中可用。我正在试验以下代码：
from scrapy.spider import Spider
from scrapy.selector import Selector
from myproject.items import getExercise
class MySpider(Spider):
name = "getExercise"
allowed_d
浏览 1提问于2015-06-24得票数 1
回答已采纳
我将输出作为连续数据以行形式显示，而不是以正确的记录格式显示(每行一条记录)。
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class famousPeopleItem(scrapy.Item):
# define the fields for your item here like:
Name = scrapy.Field()
Profession = scrapy.Field
浏览 5提问于2017-05-10得票数 0
回答已采纳
到目前为止，我的代码如下：
import scrapy
class FcsItem(scrapy.Item): #items.py file
title = scrapy.Field()
link = scrapy.Field()
#test.py file below, different file from above
import scrapy
from fcs.items import FcsItem
class FCScrape(scrapy.Spider):
name = "FC"
allowed_domains = [&#
浏览 1提问于2015-08-24得票数 1
2回答
刮擦返回多项
、、、
我对Scrapy很陌生，我真的不知道如何在一个块中返回多个项目。
基本上，我得到了一个HTML标记，它包含一个引号，包含嵌套的文本标记、作者名称和一些关于该引号的标记。
这里的代码只返回一个引号，仅此而已。它不使用循环返回其余部分。我已经在网上搜索了好几个小时了，我只是绝望，我不明白。到目前为止，这是我的代码：
Spider.py
import scrapy
from scrapy.loader import ItemLoader
from first_spider.items import FirstSpiderItem
class QuotesSpider(scrapy.Spider):
浏览 1提问于2017-10-04得票数 6
回答已采纳
我通过scrapy shell获得响应。WHen我用的是view(reponse)，在浏览器上看到结果，有个tbody标签。但是我检查了shell中的tbody标记，它丢失了。我想知道原因。
它是scrapy版本1.7和python3.6。我使用Chrome Inspect工具检查元素，找到标签<tbody>，如下所示：
但我检查了shell：
[in] "tbody" in response.text
[out] False
[in] "tr" in response.text
[out] True
所以我觉得这很奇怪。为什么会发生这种情况？
浏览 0提问于2019-08-31得票数 0
3回答
我试图得到td中所包含的全部文本：
示例：
<td>
<p>Some Text</p>
<a>SAMPLE</a>
<table>
<tbody>
<tr>
<td>something</td>
....
</tr>
...
</tbody>
</table>
...
</td>
这个td里面有很多标签，这让我很难。连桌子都有。
在FirePath (火狐)中，我可以简单地附加
浏览 2提问于2016-10-14得票数 1
我在试着爬。
我想使用Scrapy从一个给定的网站获得所有链接。
我正试着这样做-
import scrapy
import unidecode
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from lxml import html
class ElementSpider(scrapy.Spider):
name = 'linkdata'
start_urls = ["https://www.goodread
浏览 3提问于2016-10-07得票数 2
回答已采纳
1回答
我正试着刮一张多页的桌子。使用以下代码，我将打印第一页数据：
import scrapy
from scrapy.http.request import Request
from indicators.items import EducationIndicators
class mySpider(scrapy.Spider):
name = "education2"
allowed_domains = ["data.un.org"]
start_urls = (
'http://data.un.org/Data.
浏览 0提问于2018-05-09得票数 1
1回答
我对python和scrapy很陌生
在抓取过程之后，我尝试将数据库保存到mysqlite，下面是src：(来自)。
我的问题是数据库已成功创建，但由于process_item未调用，无法将项插入数据库
编辑
我在setting.py上面粘贴github链接的源代码
ITEM_PIPELINES = {
'amazon.pipelines.AmazonPipeline': 300
}
pipelines.py
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forg
浏览 4提问于2018-09-18得票数 0
回答已采纳
<img alt="MediaMarkt" border="0" e-editable="img" src="http://news-de.mediamarkt.de/custloads/298149669/vce/mediamarkt.png" style="display:block;" width="169"/> 我正在尝试从HTML，我有alt的值，然后使用它，我试图获得图像 company_name = "mediamarkt"
response.xpath(
浏览 73提问于2020-06-25得票数 2
回答已采纳
1回答
使用python3.8和scrapy1.6，我想检查一个产品的星号是否等于或大于3.5，然后检查另一个条件(如果discount_percent等于或大于10%)，然后刮掉该产品的一些元素。问题是，我猜，抓取的星号和discount_percent元素是非英语数字，并且包含"%“。因此，尽管我使用了utf8，但当我将代码行包装在float()和int()函数中时，我会得到这样的日志： 2020-08-19 15:53:02 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: digikala)
2020-08-19 15:53:02
浏览 25提问于2020-08-19得票数 0
回答已采纳
我有像下面这样的html的一部分
<li><label>The Keyword:</label><span><a href="../../..">The text</a></span></li>
我想要获取字符串"The keyword: the text“。
我知道我可以使用Chrome inspect或FF firebug获得上述html的xpath，然后选择(Xpath).extract()，然后剥离html标记以获得字符串。但是，这种方法还不够通用，因为xpath在不
浏览 2提问于2012-12-23得票数 0
回答已采纳
2回答
抓取下一页
、、、
我有这个scrapy框架的代码：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from lxml import html
class Scrapy1Spider(scrapy.Spider):
name = "scrapy1"
allowed_domains = ["sfbay.craigslist.org"]
start_urls
浏览 1提问于2015-09-17得票数 7
回答已采纳
2回答
使用最新版本的Scrapy和python 3.8，我想让我的爬虫从网站上抓取一些书籍的图像。但在运行爬行器(称为提升)后，我得到了这个日志，其中显示有项目被抓取，但我既看不到应在其中存储图像的任何新文件夹，也无法打开输出。顺便说一句，我的爬虫以前工作得很好，所以我只是写下了我最近添加到它中的所有代码。这是我得到的日志： 2020-10-15 09:31:47 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: digikala)
2020-10-15 09:31:47 [scrapy.utils.log] INFO: Versions: l
浏览 16提问于2020-10-21得票数 0
回答已采纳
1回答
我写了一只蜘蛛，因为某种原因而出了问题。
我刚开始刮擦，但从日志判断，它似乎成功地加载了页面？我已经在浏览器中测试了我的XPath选择器，它们运行良好。我看过craigslist.org/robots.txt文件，它没有明确禁止我正在做的事情。
有人知道这是怎么回事吗？
它是否与用户代理字符串有关？是否有不同版本的网页提供给蜘蛛？
蜘蛛
import scrapy
class RentalsCrawler(scrapy.Spider):
name = "rentals"
allowed_domains = [
'craigslist.o
浏览 0提问于2018-06-07得票数 3
XPath './tbody/tr[position() = 1]'被火狐的XPath引擎所接受，但它在lxml 4.5.0 (libxml2 2.9.10；Python3.8.10；Ubuntu20.04.5)上被拒绝。
…
File "src/lxml/etree.pyx", line 1532, in lxml.etree._Element.find
File "src/lxml/_elementpath.py", line 323, in lxml._elementpath.find
File "src/lxml/
浏览 8提问于2022-10-18得票数 0
回答已采纳
lxml很好地支持Unicode元素名称，因为它们根据XML规范是有效的。但是在XPath中使用Unicode会产生一个错误：
>>> import lxml.etree
>>> e = lxml.etree.fromstring('<?xml version="1.0" encoding="UTF-8"?><элемент>текст</элемент>'.encode('utf-8'))
>>> e.xpath('/элемент
浏览 0提问于2015-04-17得票数 2
1回答
我是Scrapy库的新手，我正在和我的蜘蛛作斗争。我正在尝试从这个网站中抓取数据
我正在尝试做的是，对于页面上的每个链接，我想沿着链接并抓取图像以及文本行3- 11。
这里的任何帮助都将不胜感激。
下面是我的代码：
from scrapy.spiders import Request
from scrapy.linkextractors import LinkExtractor
from scrapy.http import HtmlResponse
import re
BASE_URL = 'http://murderpedia.org/'
PROTOCOL = &#
浏览 4提问于2018-10-25得票数 0
我有一个具有如下结构的HTML文档：
<html>
<li>
<a href="" />a1</a>
<other tags ... />
<li>
<a href="">a2</a>
<another one tag ... />
<a name=3>
</li>
</li>
<li>
...
&
浏览 1提问于2016-02-25得票数 0
2回答
我遇到了一个问题，那就是我组装的一只蜘蛛。我试图从上的文字记录中抓取各行文本以及相应的时间戳，并找到了我认为合适的选择器，但在运行时，爬行器的输出只是最后一行和时间戳。我见过其他几个有类似问题的人，但还没有找到解决我的问题的答案。
这就是蜘蛛：
# -*- coding: utf-8 -*-
import scrapy
from this_american_life.items import TalTranscriptItem
class CrawlSpider(scrapy.Spider):
name = "transcript2"
allowed_doma
浏览 0提问于2017-10-20得票数 0
1回答
刮取不刮父URL
、、
我有一个包含代码的html文件demo1.html：
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
“What is this obsession people have with books? They put them in their houses—like they’re trophies.
浏览 2提问于2020-06-17得票数 0
回答已采纳
我在Python中遇到了一个我无法理解的错误。我已经将我的代码简化到了最低限度：
response = requests.get('http://pycoders.com/archive')
tree = html.fromstring(response.text)
r = tree.xpath('//divass="campaign"]/a/@href')
print(r)
仍然会得到错误
Traceback (most recent call last):
File "ultimate-1.py", line 17, in &
浏览 8提问于2016-05-16得票数 1
回答已采纳
2回答
我的代码只给了我44个链接数据，而不是102个。有人能告诉我为什么要这样提取吗?我很感谢你的help.How，我可以正确地提取它吗？ import scrapy
class ProjectItem(scrapy.Item):
title = scrapy.Field()
owned = scrapy.Field()
Revenue2014 = scrapy.Field()
Revenue2015 = scrapy.Field()
Website = scrapy.Field()
Rank = scrapy.Field()
Employe
浏览 45提问于2017-05-13得票数 1
回答已采纳
2回答
为什么我的破蜘蛛什么都不刮？
、、、、
我不知道问题在哪里，可能是超级容易解决，因为我是新刮刮。谢谢你的帮忙!
我的蜘蛛：
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.linkextractors import LinkExtractor
from scrapy.item import Item
class ArticleSpider(CrawlSpider):
name = "article"
allowed_domains = [
浏览 3提问于2016-02-04得票数 1
回答已采纳
2回答
我是新刮刮，目前正在学习如何从一个名单刮刮的URL信息。我已经能够从一个网址上抓取信息，通过在刮伤网站上的教程。然而，即使在谷歌在线搜索解决方案之后，我也面临着从url中刮出的url列表中的信息的问题。
我在下面写的刮刀可以从第一个网址刮起。但是，它不成功地从刮过的URL列表中抓取。这个问题从def parse_following_urls(self，response)开始:这样我就无法从被刮掉的URL列表中抓取
有人能帮忙解决这个问题吗？提前谢谢。
import scrapy
from scrapy.http import Request
class SET(scrapy.Item):
浏览 7提问于2016-02-12得票数 0
回答已采纳
2回答
刮伤xpath不捕获标记
、、、
在这种情况下，我想让Scrapy提取出“圆形大小”。但事实证明，Scrapy无法捕捉dl下的任何子节点。
response.xpath('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath表达式是从Chome inspect生成的。我分别测试这个表达式，它可以捕获li标签。我在Scrapy中启用了Ajax，它可以捕获其他动态项。是否还有其他原因导致Scrapy的数据丢失？有人遇到过类似的问题吗？
浏览 7提问于2016-06-06得票数 0
回答已采纳
2回答
我正试着用刮擦来刮一个网站。当我刮到一个特定的页面时，分页抓取是有效的，但是当我尝试用一次跳转分页刮掉所有的页面时，分页就不起作用了。
我尝试为分页创建一个额外的函数，但这并不能解决问题。所有的帮助都将不胜感激。我做错什么了？这是我的密码：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.loader.processors import MapCompose, Join
from scrapy.loader import ItemLoader
from scrapy.http import Request
from avtogumi.it
浏览 1提问于2018-09-18得票数 1
回答已采纳
1回答
我想在剪贴画中获得价格和卖家的名字，但无法在正确的xpath中解析它们，以便在them.How上迭代以获得正确的xpath，以便我可以检索卖家和所有价格？
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from urlparse import urljoin
from scrapy.contrib.link
浏览 1提问于2015-08-13得票数 0
我正在尝试从国际商会网站上废弃前100名t20击球手，但是我得到的csv文件是空白的。我的代码中没有错误(至少我不知道)。这是我的项目文件
import scrapy
class DmozItem(scrapy.Item):
Ranking = scrapy.Field()
Rating = scrapy.Field()
Name = scrapy.Field()
Nationality = scrapy.Field()
Carer_Best_Rating = scrapy.Field()
dmoz_spider文件
import scrapy
fr
浏览 2提问于2016-05-22得票数 0
回答已采纳
我正在从网页上的12个表中提取元数据和urls，虽然我已经开始工作，但我对xpath和scrapy都很陌生，所以有没有更简洁的方法可以做到这一点？ 当我尝试各种xpath时，我最初得到了大量的重复项，并意识到每个表行对每个表都是重复的。我的解决方案是枚举表并遍历每个表，只获取该表的行。感觉可能有一种更简单的方法，但我现在不确定。 import scrapy
class LinkCheckerSpider(scrapy.Spider):
name = 'foodstandardsagency'
allowed_domains = ['ratings.f
浏览 10提问于2019-04-26得票数 0
回答已采纳
2回答
我正在尝试从一个网站获取天气，并收集这些数据。但是，有些请求返回空列表或期望的不同信息。为什么会发生这种情况?从网站获得正确的xpath和信息的正确格式和方法是什么？
我试过使用多个网站，但无法得到一致的结果。
import requests
from lxml import html
site1data = requests.get('http://m.bom.gov.au/vic/melbourne/', verify =
False)
tree = html.fromstring(site1data.content)
humidity = tree.xpath(&#
浏览 0提问于2019-07-10得票数 1
回答已采纳
我正在从网站中提取数据，它有一个包含一个特殊字符的条目，即Comfort Inn And Suites�? Blazing Stump。当我试图提取它时，它会抛出一个错误：
Traceback (most recent call last):
File "C:\Python27\lib\site-packages\twisted\internet\base.py", line 824, in runUntilCurrent
call.func(*call.args, **call.kw)
File "C:\Python27\lib\site-pa
浏览 3提问于2014-08-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
