我在Python Scrapy上写了一个网络刮板，它应该可以从this网站获得输入数据。 当我在站点左侧选择一个状态时，它会发送一个POST请求。": "max", "PeopleAssetsRangeHigh": "max",} 问
浏览 29提问于2021-11-03得票数 0
回答已采纳
我创建了两个脚本:一个使用请求模块，另一个使用scrapy。他们俩都是毫无瑕疵地工作。以下是如何在该站点中手动生成结果：
从结果页解析Block的值，它是4759。但是，当我使用scrapy时，不用显式地使用__VIEWSTATE，仍然可以获得相同的结果。//*[contains(@id,'_DataGrid1')]/
浏览 2提问于2021-03-30得票数 0
回答已采纳
我正在尝试使一个网络爬虫，将登录到一个https网站使用我的凭据，然后爬行网站的某些部分。我正在使用python中的Scrapty，但我不能百分之百确定这是否可能，因为在网站上我没有看到任何关于https的东西，只看到了以下内容：*HTTP authentication 如果，那么有什么想法作为如何开始呢？
浏览 1提问于2013-06-26得票数 0
通过获取页面内容和查找文本表单页面，我可以在没有的情况下找到前5个常见词。然后根据出现次数将单词转储到字典中。如何使用scrapy查找最常用的单词？我可以使用scrapy的统计<
浏览 6提问于2018-12-30得票数 0
我刚刚开始学习Scrapy，我想尝试一些python和scrapy的练习。我正在考虑从我发布的特定标签中获取问题列表，然后对其进行解析。
但我不确定如何使用open id和Scrapy登录。有没有人可以指导我，在这个url上我必须提交数据，因为当我输入openid时，网站会转移到openid url上，那么我该如何在那里输入密码呢？
浏览 1提问于2012-11-19得票数 0
回答已采纳
1回答
我对Scrapy的经验是有限的，每次我使用它，它总是通过终端的命令。我如何从django模板中获取表单数据(一个要被刮掉的url )来与scrapy通信，从而开始进行抓取？到目前为止，我只考虑从django的视图中获取表单的返回数据，然后尝试将表单数
浏览 1提问于2014-11-14得票数 11
回答已采纳
我试图用Scrapy抓取一个网站，但是网站的网址没有改变，页面是用java脚本加载的。在我执行搜索之前，站点和URL是这样的：
这是我执行搜索后站点和URL的外观：
在这些情况下，我如何使用Scrapy从站点获取数据？
浏览 0提问于2016-07-26得票数 1
我想刮一下这个网页：我使用的是scrapy 0.16.5，ubuntu12.04，firefox+firebug+firefinder
浏览 2提问于2013-07-30得票数 1
回答已采纳
我的应用程序由四种型号组成。用户>列表>愿望<项目。我正在展示头版上的所有项目，并希望能够从各个项目中构建一个愿望。
由于有关联，我必须使用户能够指定要与项目关联的列表。但是，item部分中的实例变量_item.html.erb不能通过调用app/views/wishes/new.js.erb的link_to传递，后者呈现表单以指定列表。因此，任何帮助都是非常感谢的。new_item_p
浏览 3提问于2013-06-09得票数 0
回答已采纳
2回答
如何在Java程序中连接到Hadoop。下面是一些细节:我从用户那里获取html表单的输入，使用JSP处理表单数据。我想连接到hadoop来获取一些基于表单输入的数据。在这种情况下，如何使用Java连接到Hadoop？
浏览 1提问于2016-07-28得票数 3
回答已采纳
我正在尝试编写一个Python脚本，它可以导航到这个，填充表单数据，提交表单，并下载一个自动返回的ZIP文件。到目前为止，我已经尝试通过从文档中复制和修改示例代码来学习和实现几种使用Scrapy、webbrowser、requests、Beautifu
浏览 0提问于2018-02-06得票数 1
回答已采纳
1回答
从第一个元素和文章标题中收集数据
、、、、
我需要Scrapy从这个标签中收集数据，并将这三个部分完整地检索起来。输出将类似于：
第二，从第一个span标签中收集<
浏览 0提问于2015-05-25得票数 1
回答已采纳
如何在python scrapy中获取动态表数据的请求头？有没有一种方法可以在不使用点击模拟的情况下获得数据？
浏览 0提问于2020-04-04得票数 0
我很熟悉用Scrapy抓取网站，但是我似乎不能抓取 one (也许是javascript ?)。我正在尝试从这个网站下载商品的历史数据，以进行一些个人研究：
在此网站上，您必须选择日期，然后单击go。加载数据后，您可以单击“在Excel中查看”下载包含当日商品价格的CSV文件。然而，这个网站似乎是一个难以破解的难题。任何帮助都将不胜感激。我尝试过的方法: 1)查看页面源代码，查看数据是否正在加载但未显示(隐藏)；2)
浏览 3提问于2016-02-16得票数 1
3回答
考虑到抓取/python甚至编程，我是一个绝对的新手，但我需要学习和理解它。我创建了一个小蜘蛛，它爬行一个网站，并从网站中提取一些信息，并将其聚合到一个csv文件中。到目前为止，我已经获得了相当成功的输出，然而，我有一个网站内容本身的问题。站点项的xpath选择器以列表的形式生成内容；不过，我希望它将其转换为没有行提要等的单个字符串。我知道，规范化的空格和条带()将是可行的，但是它们只删除前导/尾
浏览 1提问于2020-07-09得票数 0
回答已采纳
1回答
我试图使用Python中的Scrapy框架从中抓取数据，但是当我在并尝试学习如何提取数据，使用或
response.xpath然后，当我在的shell中获取和查看响应时，我会得到一个几乎空白的页面，它不包含我想要刮掉的数据(
浏览 1提问于2018-07-29得票数 0
回答已采纳
我正试着从一个叫做商示波器的网站上搜集所有的数据。但是，当我试图运行我的代码时，它只是得到一个随机引用。它至少应该从那个页面中获取所有的数据，但它只需要一个。另外，如果我从第1页得到数据，我想要的是从所有页面中获取数据。
浏览 0提问于2019-04-15得票数 0
2回答
我是Scrapy的初学者。我试图登录一个网站，让我能够做刮刮。但我被困住了。下面是我蜘蛛的代码import scrapyfrom scrapy.selector import HtmlXPathSelectordatetime.datetime(2015, 5, 7, 13, 5, 2, 518131)}
2015-05-07 06:05:03-0700 [login] INFO: Spider clos
浏览 1提问于2015-05-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
