开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

scrapy AttributeError:响应内容不是文本

Scrapy是一个开源的Python网络爬虫框架，用于抓取互联网上的数据。它基于Twisted异步网络框架，并且使用了XPath和CSS选择器等方式来解析网页内容。Scrapy提供了丰富的功能，如自动请求调度，数据解析和持久化，以及分布式爬取等。

在使用Scrapy进行网络爬取时，有时会遇到"AttributeError:响应内容不是文本"的错误。这个错误通常是由于爬取到的响应内容不是文本类型引起的。Scrapy默认将响应内容解析为文本形式，但当响应内容为二进制数据或其他非文本格式时，就会触发这个错误。

解决这个问题的方法是使用合适的解析器或指定正确的响应内容类型。以下是一些可能的解决方法：

指定响应内容类型：可以通过在请求中设置headers参数的Accept字段来指定响应内容的类型。例如，如果响应内容为JSON，可以设置Accept: application/json。
使用适当的解析器：根据实际情况选择适当的解析器来解析非文本格式的响应内容。例如，对于二进制数据，可以使用response.body来获取原始的响应内容。
检查爬取规则：检查爬取规则是否正确设置，确保爬取的目标网页返回的是文本类型的内容。

总结起来，当出现"AttributeError:响应内容不是文本"错误时，需要检查并确认爬取的响应内容的类型，并相应地设置解析器或请求头，以确保正确处理非文本类型的响应内容。

腾讯云相关产品中，与网络爬虫和数据处理相关的服务包括云函数（Serverless）、对象存储（COS）和云数据库MongoDB等。你可以通过以下链接了解更多腾讯云产品的详细信息：

相关搜索:响应内容不是水合对象 Python Scrapy响应200但未加载Javascript内容 HttpClient返回的不是完整响应内容显示响应而不是内容的页面从文本而不是nodeId获取内容响应式SVG文本路径包装动态内容 Scrapy -从页面上的其他文本构建xpath响应时，谓词无效如何将scrapy shell输出/响应存储为变量而不是html文件显示乱码文本而不是html的响应正文 res.send将整个对象作为响应而不是内容发送 Asp.net C#：无法获取fileupload的内部内容，因为内容不是文本 ASP.NET MVC app application/json响应内容被文本/html内容神秘地覆盖 Swift在向web服务发送请求后获取内容文本响应当ajax响应持续5秒时，如何删除span的文本内容在没有Bootstrap的情况下在文本内容上创建响应式div 如何在Gatsby中将内容文本输出为HTML而不是字符串？如果文本前景值不是黑色，则tkinter单选按钮不显示选定内容将文本文件内容传递给Console.ReadLine()，而不是键入刀片视图将富文本内容(存储在mysql表中)显示为无响应 ajax调用返回超文本标记语言响应，而不是asp.net中的Json

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Python:Resquest/Response

Request Request 部分源码： # 部分代码 class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=

01

python爬虫----（scrapy框架提高（1），自定义Request爬取）

最近看scrappy0.24官方文档看的正心烦的时候，意外发现中文翻译0.24文档，简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/

02

二、安装 Scrapy

Scrapy 必须运行在 CPython 或 PyPy 下的 Python 2.7 或 Python 3.5 及以上平台。如果您使用的是 Anaconda 或 Miniconda ，则可以从 conda-forge 安装该软件包，它包含适用于 Linux 、 Windows 和 OS X 的最新软件包。如果要使用 conda命令安装 Scrapy 只需运行以下命令：

01

Scrapy快速入门系列(1) | 一文带你快速了解Scrapy框架(版本2.3.0)

如果想要详细的查看Scrapy的相关内容可以自行查看官方文档。文档地址如下：https://docs.scrapy.org/en/latest/intro/overview.html#walk-through-of-an-example-spider

01

一日一技：从 Scrapy 学习模块导入技巧

但是如果各位同学看过 Scrapy 的settings.py文件，就会发现里面会通过字符串的方式来指定 pipeline 和 middleware，例如：

01

6个强大且流行的Python爬虫库，强烈推荐！

Python中有非常多用于网络数据采集的库，功能非常强大，有的用于抓取网页，有的用于解析网页，这里介绍6个最常用的库。

01

Scrapy框架的使用之Selector的用法

Scrapy提供了自己的数据提取方法，即Selector（选择器）。Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。本节将介绍Selector的用法。 1. 直接使用 Selector是一个可以独立使用的模块。我们可以直接利用Selector这个类来构建一个选择器对象，然后调用它的相关方法如xpath()、css()等来提取数据。例如，针对一段HTML代码，我们可以用如下方式构建Selector对象来提取数据： from

04

Scrapy 爬虫框架学习记录

安装完 scrapy 后，新建一个爬虫的目录，然后在命令行窗口进入该目录，输入以下命令：

03

scrapy0700:深度爬虫scrapy深度爬虫

爬虫程序，主要是用与数据采集处理的一种网络程序，在操作过程中针对指定的url地址进行数据请求并根据需要采集数据，但是在实际项目开发过程中，经常会遇到目标url地址数量不明确的情况，如之前的章节中提到的智联招聘项目，不同的岗位搜索到的岗位数量不一定一致，也就意味着每个工作搜索到的工作岗位列表页面的数量不一定一致，爬虫工程师工作可能搜索到了10页，Django工作有可能都索到了25页数据，那么针对这样的数据要全部进行爬取，应该怎么处理呢？答案就是：深度爬虫

02

一、了解Scrapy

Scrapy 是一个用于爬取网站并提取结构化数据的高效爬虫框架，它可以用于各种应用程序/项目，比如数据挖掘、信息处理和档案处理等。最初设计 Scrapy 是用来爬取 Web 数据的，但是现在也可以将它用于爬取 API 信息和作为通用 Web 搜索器来提取数据。

02

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧。 Scrapy 使用了

分分钟学会用python爬取心目中的女神——Scrapy

原文网址：http://www.cnblogs.com/wanghzh/p/5824181.html

03

Python爬虫之scrapy的入门使用

命令: sudo apt-get install scrapy 或者： pip/pip3 install scrapy

02

scrapy_selenium爬取Ajax、JSON、XML网页：豆瓣电影

在网络爬虫的开发过程中，我们经常会遇到一些动态加载的网页，它们的数据不是直接嵌入在HTML中，而是通过Ajax、JSON、XML等方式异步获取的。这些网页对于传统的scrapy爬虫来说，是很难直接解析的。那么，我们该如何使用scrapy_selenium来爬取这些数据格式的网页呢？本文将为你介绍scrapy_selenium的基本原理和使用方法，并给出一个实际的案例。

03

三、scrapy后续 LinkExtractorsrules Logging发送POST请求内置设置参考手册

CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板的代码： scrapy genspider -t crawl tencent tencent.com 我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以用这个... class scrapy.spiders.CrawlSpider 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制

04

python爬虫全解

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/155881.html原文链接：https://javaforall.cn

02

使用Scrapy从HTML标签中提取数据

Scrapy是一个用于创建Web爬虫应用的Python框架。它提供了相关编程接口，可以通过识别新链接来抓取Web数据，并可以从下载的内容中提取结构化数据。

02

Scrapy从入门到放弃1--开发流程

允许爬取的域名: 为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。

04

终于有人把Scrapy爬虫框架讲明白了

导读：Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

03

day135-scrapy中selenium的使用&链接提取器

中间件 process_response() 中 selenium 加载动态数据替换非动态加载数据

00

scrapy 框架入门

官网：https://docs.scrapy.org/en/latest/intro/overview.html

02

Python网络爬虫基础进阶到实战教程

网络爬虫是指一种程序自动获取网页信息的方式，它能够自动化地获取互联网上的数据。通过使用网络爬虫，我们可以方便地获取到网络上的各种数据，例如网页链接、文本、图片、音频、视频等等。

01

Python中好用的爬虫框架

Scrapy是一个功能强大的Python网络爬虫框架，专为数据采集而设计。它提供了一套高度可定制的工具和流程，使得你可以轻松地构建和管理网络爬虫，从而快速地获取所需的数据。

01

Scrapy框架

简单网页的爬取可以利用re模块，复杂网页的爬取对于内容的提取则会显得十分麻烦。Scrapy框架是python下的一个爬虫框架，因为它足够简单方便受到人们的青睐。

03

Crawlab准备之python+scrapy环境搭建

上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了；捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建python+scrapy环境。

02

Python网络爬虫与信息提取

需要注意的是，淘宝网站本身有反爬虫机制，所以在使用requests库的get()方法爬取网页信息时，需要加入本地的cookie信息，否则淘宝返回的是一个错误页面，无法获取数据。

01

Python scrapy 安装与开发

Scrapy是采用Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取采集web站点信息并从页面中提取结构化的数据。

06

项目实战 | Python爬虫概述与实践（三）

《项目实战 | python爬虫及实践(一)》中介绍了网络爬虫的定义、分类和基本流程。

02

Python 爬虫之Scrapy《中》

Scrapy数据解析主要有两个大类：xpath() 和 css() ，今天这篇文章主要讲解xpath如何解析我们想获取的页面数据。同时Scrapy还给我们提供自己的数据解析方法，即Selector（选择器），Selector是一个可独立使用的模块，我们可以用Selector类来构建一个选择器对象，然后调用它的相关方法如xpaht(), css()等来提取数据，它的常用写法如下：

01

Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

这次介绍一个及其强大的爬虫框架---Scrapy，Scrapy由 Python 编写，是一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

01

Scrapy入门

01

Scrapy的CrawlSpider用法

rules是一组Rule对象。每条Rule定义了抓取网页的方式。如果多条规则匹配到同一链接，根据定义规则的顺序，使用第一个链接。

03

python教程|如何批量从大量异构网站网页中获取其主要文本？

在当今信息爆炸的时代，网络上充斥着海量的数据，其中文本数据作为信息传递的基本单元，对于数据分析、信息挖掘等领域至关重要。特别是对于相关从业人员来说，能够从各种网站中高效、准确地提取主要文本，是提高工作效率、增强内容价值的关键。

01

【杂谈】爬虫基础与快速入门指南

今天给大家分享一下网络爬虫的基础知识，以及一些优秀的开源爬虫项目。网络爬虫主要是我们在面对新的任务，但自己又没有数据的时候，获取自己想要的数据的一种手段。因此我们有必要掌握一定的爬虫知识，从而更好的准备训练数据集。

01

Scrapy项目部署

网站和json webservices将侦听的IP地址。默认为127.0.0.1（localhost）

02

一步步教你利用Github开源项目实现网络爬虫：以抓取证券日报新闻为例

在学习编程的过程中，初学者(特别是想转行互联网的来自其它专业的初学者)往往因为缺乏实际项目的操作而陷入基础学习的环境中无法自拔，在学习Python的过程中，笔者最初也是一直停留在不断地print、列表、数组、各种数据结构的学习里，当然基础知识的学习很重要，但是没有项目的实际操作，往往无法得到提高并会心生厌倦，为了应对这个问题，接下来专栏将从Github开源项目选取一些比较有意思的项目，来为大家说明如何开展项目，如何安装环境，如何debug，如何找到解决问题的方法...... 我们以抓取财经新闻的爬虫为例，默

09

《手把手带你学爬虫──初级篇》第6课强大的爬虫框架Scrapy

Scrapy是一个Python爬虫应用框架，爬取和处理结构性数据非常方便。使用它，只需要定制开发几个模块，就可以轻松实现一个爬虫，让爬取数据信息的工作更加简单高效。

06

Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

原文链接：https://www.fkomm.cn/article/2018/8/1/26.html

00

Python爬虫从入门到放弃（十三）之 Scrapy框架的命令行详解

这篇文章主要是对的scrapy命令行使用的一个介绍创建爬虫项目 scrapy startproject 项目名例子如下： localhost:spider zhaofan$ scrapy star

05

数据挖掘微博：爬虫技术揭示热门话题的趋势

微博是中国最大的社交媒体平台之一，每天有数亿用户在上面发表自己的观点、分享自己的生活、参与各种话题。微博上的热门话题反映了用户的关注点和社会的动态，对于分析舆情、预测市场、探索文化等方面都有重要的价值。本文将介绍如何使用爬虫技术从微博上抓取热门话题的数据，并通过可视化的方式展示热门话题的变化趋势。

01

走过路过不容错过，Python爬虫面试总结

Selenium 是一个Web 的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。Selenium库里有个叫 WebDriver 的API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像BeautifulSoup 或者其他Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

02

爬虫之scrapy框架（一）

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

03

python的Scrapy...

Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

02

Python有哪些好用的爬虫框架

在信息时代，数据是无价之宝。许多开发者和数据分析师需要从互联网上采集大量的数据，用于各种用途，如分析、建模、可视化等。Python作为一门强大的编程语言，提供了多种高效的爬虫框架，使数据采集变得更加容易和高效。本文将介绍一些Python中高效的爬虫框架，帮助你选择适合你项目需求的工具。

01

python中命令行的应用实践

小k是一家互联网公司的爬虫(cv)工程师，他在这家公司写过大大小小无数个爬虫脚本。有一天他打开自己写过的一个爬虫项目，看到密密麻麻几十个网站的spider文件，内心暗喜，”我真是个人才，居然能写出这么多优秀且稳定的代码“。忍不住得将项目截图发给小m，等待着即将回复的：”卧槽牛逼啊“，但随即等来的却是一句：”你这么多爬虫文件，你怎么运行的？“，小k一时语塞，陷入了沉思：

06

Python爬虫之scrapy_splash组件的使用

观察发现splash依赖环境略微复杂，所以我们可以直接使用splash的docker镜像

04

5分钟快速掌握 scrapy 爬虫框架

scrapy是基于事件驱动的Twisted框架下用纯python写的爬虫框架。很早之前就开始用scrapy来爬取网络上的图片和文本信息，一直没有把细节记录下来。这段时间，因为工作需要又重拾scrapy爬虫，本文和大家分享下，包你一用就会，欢迎交流。

02

scrapy爬取糗事百科段子

今天是复习前几天搞得scrapy爬虫框架学习好长时间没有在搞了，属实是有一些东西给忘了今天特地给复习一下，这是房价前所听课所作的笔记

01

Scrapy的架构一、Scrapy的Twisted引擎模型二、Scrapy的性能模型三、Scrapy架构组件数据流(Data flow)四、Scrapy架构

Scrapy的架构太重要了，单用一篇文章再总结整合下。前两张图来自《Learning Scrapy》，第三张图来自Scrapy 1.0中文官方文档（该中文文档只到1.0版），第四张图来自Scrapy

06

Scrapy数据爬取，Django+PyEcharts实现可视化大屏(附源码)

https://github.com/ChenZixinn/scenery_spider_web

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭