2回答
我想基于变量{event}从request2中的URL循环抓取多个页面。这段代码基本上是在数据集'eventid‘中旋转，并根据request2中的变量{event}抓取多个页面。我遇到的问题是，代码只从'eventid‘(991215)中抓取最后一个事件的</em
浏览 11提问于2020-02-22得票数 2
回答已采纳
我使用Scrapy用python编写了一个脚本，以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦，因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许使用submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页抓取了所需的</
浏览 38提问于2019-02-21得票数 0
1回答
我正在尝试抓取一个包含12个链接的页面。我需要打开这些链接中的每一个，并刮掉它们的所有标题。当我打开每个页面时，我面对的是每个链接中的多个页面。但是，我的代码只能抓取这12个链接中的第一个页面 通过下面的代码，我可以打印主页上存在的所有12个链接URL。12个页面中每个页面的
浏览 22提问于2021-04-06得票数 1
回答已采纳
1回答
这是我之前关于在多个网页上循环的问题的后续问题.我刚开始编程..。所以我很感激你的耐心和非常明确的解释！
我在许多网页上编写了一个循环程序。在每一页上，我想要抓取数据，将其保存到变量或csv文件中(无论哪个更容易/更稳定)，然后单击"next“按钮，在第二个页面上刮取数据，并将其附加到变量或csv文件中，等等
浏览 1提问于2015-03-04得票数 1
回答已采纳
1回答
目前我正在使用PHP cURL和XPath进行抓取，但速度非常慢。我用上面的代码总共刮掉了大约150个网页。
一个脚本获取一个网站，并一次一个地从该页面中抓取所有URL。与此同时，另一个脚本正在运行，执行相同
浏览 1提问于2011-07-25得票数 1
我正在尝试抓取一个网站。这是此的延续 <a class="ctl00_cph1_mnuPager_1" href=&
浏览 50提问于2017-09-12得票数 0
1回答
从使用Ajax请求的网站抓取数据
、、、、
到目前为止，我已经做了一个从网站上抓取数据的程序，我用python、selenium和美丽汤制作了一个程序，当它想从像这样的网站的页面中刮取数据时，我必须点击一个名为"سابقه“的选项卡(顶部是سابقه)，然后网站使用Ajax请求获取数据，然后我循环遍历表，表有多个页面，所以我必须点击表下面的数字
浏览 3提问于2017-12-15得票数 0
回答已采纳
我正在使用scrapy在一个网站上抓取多个页面。变量start_urls用于定义要爬行的页面。我最初会从第一页开始，因此在文件example_spider.py中定义start_urls = [1st page]
在从第一页获得更多信息后，我将确定下一页将被抓取，然后将相应地分配start_urls因此，我必须用对start_urls = [1st page, 2nd page, ..., Kth
浏览 1提问于2012-01-10得票数 12
回答已采纳
我是较新的爬虫数据。每次我输入一个邮政编码，搜索页面的URL是非常复杂的。我认为用Pyquery编写这种url是很困难的。例如，当我输入邮政编码95113时，结果页面的url就是
我的问题是:如果我想从结果页抓取数据
浏览 2提问于2013-07-02得票数 0
我目前正在通过预置一个名为number_of_pages的变量来抓取特定网站的所有页面。预置这个变量可以工作，直到添加了一个我不知道的新页面。例如，下面的代码是3页，但网站现在有4页。base_url = 'https://securityadvisories.paloaltonetworks.com/Home/Index/
浏览 2提问于2017-03-28得票数 3
回答已采纳
2回答
熊猫网抓取多个网页
、、、
我正在为以下给定的网站在多个页面上使用“美丽汤”来抓取数据，并且能够做到。我可以使用Pandas抓取多个页面的数据吗？下面是抓取单个页面的代码，并且URL有链接到其他页面，如。import pandas as pd
url = 'http://www.example.org/whats-o
浏览 3提问于2017-11-09得票数 2
回答已采纳
我想用Python抓取下面的url的一些数据。我想刮掉的东西没有显示在第一页上。通过单击名为"재무제표“的页签，可以访问财务报表。点击名为“현금흐름표”的页签，进入“现金流”。然而，现金流数据是由javascript通过url生成的</
浏览 2提问于2012-04-07得票数 8
在一个循环中抓取多个网站时，我注意到在速度上有相当大的差异，response = requests.get(url)response = requests.get(url,此外，对于这两种设置，我预计在请求下一页之前，每页的刮取时间至少为10秒，但情况并非如此。
为什么每页的刮擦时间少于10秒？我现在使用多重处理，
浏览 1提问于2017-04-02得票数 2
回答已采纳
在应用过滤器之后，我正在尝试使用UiPath中的数据抓取向导来获取从第11页到第20页的书籍的详细信息，并将它们输入到Excel文件中。我试着把数据抓取活动放在一个循环中，我试着用一个计数器来选择页面，但是都不起作用。有人能帮上忙吗？
浏览 1提问于2020-10-31得票数 0
我试图从一个网站上的多个链接刮体育时间表。已正确找到并打印了URL，但只有来自上一次抓取的URL的数据才会输出到控制台和文本文件。我的代码如下：这为我提供了以下输出<code>B1</code>我有下面的旧代码，它的工作正常，并输出所有的数据从每个<e
浏览 24提问于2020-08-01得票数 0
回答已采纳
我是一个网络抓取新手，需要帮助。我试图从一个有大约20页的属性站点中抓取数据，在每个页面中有到不同属性的18条链接。我的最终目标是从每个属性链接中抓取所有数据。为此，我考虑通过将页面参数增加1来运行20页的循环。
但在这样做之前，我需要从单个页面上的每个属性中抓取数据，为此我需要链接到单个页面
浏览 1提问于2018-09-26得票数 0
回答已采纳
2回答
我对Python中的web抓取非常陌生，现在正在使用BeautifulSoup进行解析。一旦我有了超文本标记语言数据，我就试图访问"< div id=“根目录”>.< /div>“下的内容，但如果我在实际网站上单击”检查“，我将无法获得显示的所有超文本标记语言。我如何访问该网页，或者这是网站阻止我访问网页上的信息的方式？
如果这没有意义，我要说的<
浏览 2提问于2020-07-13得票数 0
我正在尝试从这个网页中抓取数据。
我需要从表中复制内容并将其放入csv文件中，然后转到下一页并将这些页面的内容附加到同一文件中。我可以抓取表格，但是当我尝试使用selenium webdriver的click循环单击next按钮时，它会转到下一页并停止。这是我的代码。driver = webdriver.Chrome(executable_pa
浏览 6提问于2018-02-14得票数 0
回答已采纳
2回答
我正在用漂亮的汤来报废数据。我有一个要循环我的代码的urls列表，所以我需要在urllib2.Request命令中包含一个变量。('http://www.caao.org/DIRECTORY/', None, headers)).read()我尝试使用多个网站作为测试，我也尝试在
浏览 0提问于2013-01-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
