我现在遇到了一些关于抓破壳的问题。每当我尝试在其中键入命令时，所有这些调试消息都会在我键入时出现，并且我看不到我正在编写的内容。这是使用VS代码和Anaconda的虚拟环境，如果这是有帮助的。
浏览 48提问于2020-07-27得票数 0
2回答
我使用Scrapy时，几个网站都没有问题，但是当机器人(robots.txt)不允许访问一个站点时，我会发现问题。如何通过Scrapy (忽略存在)禁用机器人检测？提前谢谢你。我说的不是Scrapy创建的项目，而是Scrapy命令：scrapy shell 'www.example.com'
浏览 2提问于2016-11-26得票数 11
回答已采纳
我想取消招聘网站。我想在scrapy shell中做一些测试。因此，如果我输入以下内容然后如果我输入scrapy shell http:
浏览 0提问于2012-12-11得票数 5
回答已采纳
i am trying to scrape yellow page by using scrapy and python getting all other result right but not
浏览 20提问于2020-04-05得票数 0
回答已采纳
我希望将多个用户定义的参数传递给我的scrapy，因此我尝试遵循以下文章：。然而，当我遵循建议时，我会得到一个错误：Usage scrapysupportedroot@ scrapy crawl dmoz -a address= "40-18 48th st" -a borough
浏览 1提问于2015-06-23得票数 6
回答已采纳
我正在使用Scrapy来抓取页面，我尝试了很多次，但我确信以下命令(在shell中)不起作用，并返回空结果：这就是在chrome控制台中，这给我带来了预期的结果：
$x('//*[@class="itemtitle"]/a/text()')[0
浏览 61提问于2019-06-02得票数 0
回答已采纳
当我运行这些命令时...view(response)下面是在运行view(response)之前运行scrapy shell时的完整输出。2018-07-05 18:57
浏览 2提问于2018-07-05得票数 0
1回答
当我通过命令scrapy shell "http://quotes.toscrape.com/"打开Scrapy时(本例来自Scrapy教程)，我输入命令view(response)，它打开我的导航器(
浏览 7提问于2021-12-10得票数 0
1回答
遵循官方文档，我告诉cfg文件使用它。但是，如果scrapy shell似乎没有使用它。这正常吗，我是不是搞错了。
浏览 0提问于2017-10-04得票数 0
shell中的代码，我可以登录堆栈溢出。","fetch", req], shell=True) TypeError:类型为“FormRequest”的参数不可迭代
print(response)
浏览 5提问于2020-10-13得票数 0
我使用以下命令创建了一个新的scrapy项目：在爬虫文件夹中，我正在创建我的scrapy类，它包含了抓取数据的所有逻辑。我正在使用Scrapy Shell进行测试。
当我创建第一个爬虫时，scrapy shell运行得很好。但在创建第二个爬虫时，scrapy shell不起作用。使用
浏览 2提问于2020-04-08得票数 1
3回答
针对本地文件的刮取外壳
、、、、
在Scrapy1.0之前，我可以很简单地对本地文件运行Scrapy：升级到1.0.3之后，它开始抛出一个错误：2015-10-12 15:32:59 [scrapy&#
浏览 3提问于2015-10-12得票数 8
回答已采纳
如何在scrapy shell IPython控制台中运行IPython仿真？我想保持从Alt+Shift+E编辑器中运行代码片段的能力
浏览 5提问于2017-06-22得票数 5
回答已采纳
1回答
找不到命令'scrapy‘
、、、、
我正在尝试安装，这样我就可以写一个python程序来抓取网页，但我甚至还不能这样做，因为我需要抓取设置，所以我一直试图在我的shell中输入以下命令："scrapy startproject scrapy_javascript“，但得到以下错误："command ' scrapy‘not found”…我不知道哪里出了问题。我看了类似的问题，但没有帮助回答我</
浏览 23提问于2019-05-09得票数 1
回答已采纳
在windows power shell中，我可以运行scrapy shell 'http://www.hao123.com'，我可以运行ipython，我可以运行ipython，但不能在ipython笔记本中运行scrapy shell 'http://www.hao123.com' ，我也不能运行scrapy shell</e
浏览 0提问于2017-04-28得票数 2
我开始学习Scrapy，但在奇怪的情况下，我无法将默认shell设置为ipython。我的笔记本电脑的操作系统是Ubuntu15.10。我还安装了ipython和scrapy。根据scrapy的，我可以通过在全局配置文件中输入以下内容来更改默认的scrapy shell = ipython
问题是我找不到配置文件。我试着
浏览 5提问于2016-07-06得票数 0
我安装了相当多的python版本(运行macOS)。我用pip install scrapy安装了scrapy，它成功了。当我使用它的时候，例如 scrapy startproject newProject 我看到ModuleNotFoundError: No module named 'six'，表示我需要安装该模块(six注意:通过为安装的所有版本的python安装six，我可以很容易地修复特定的错误，但解决这个问题并不是<em
浏览 6提问于2020-12-11得票数 0
我已经将设置模块envvar值设置为my_module.my_submodule.my_leaf_module。内部是一些常量集，包括一个DEFAULT_REQUEST_HEADERS字典。无论如何，我设置了上面的内容，并在没有指定任何蜘蛛的情况下，针对我想要的示例URL运行scrapy。启动时没有异常或警告，但不使用我提供的设置模块。
我做错了什么？
浏览 3提问于2017-09-11得票数 1
回答已采纳
不久前，我用BS4设置了一个网络抓取器，每天记录一瓶威士忌的价值。我现在正试图从其他网站上获取其他的数据，这一次是使用SCRAPY。我尝试了以下URLS：
name = "whisky"
我还包括了一个用户代理头，因
浏览 4提问于2020-10-22得票数 0
1回答
我有这个目标url：<ul class="pagination pagination-lg"><a hrefNext" class="xh-highlight"></l
浏览 1提问于2018-07-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
