因此，我试图从一个网站上抓取人口普查数据，当从下拉菜单中选择一个县时，该网站会动态变化。它看起来是这样的： <select id="cat_id_select_GEO" onchange="changeHeaderSelection('GEO');
<option value="0500000US01001一旦我选择了县，我知道如何获得我想要的数据。但我从来没有刮过网站</
浏览 11提问于2019-05-23得票数 1
首先，我完全不称职，我长达数小时的尝试都是徒劳的。所以，求求你，有个人可以帮我。 我有过 table id="..........." tablesorter class="........"它们在相同的代码行中，我可以抓取到第一个元素。对我来说，勉强通过第二个是很重要的。我尝试了不同的方式，但一无所获 investing 在图像中，在左侧突出显示的部分有下拉菜单，可以选择不同的美国市场(纳斯达
浏览 57提问于2020-12-05得票数 0
1回答
美汤网站-带有下拉菜单的抓取网站
、、、、
我试图刮一个网站，其中有一个下拉菜单，用户可以选择数据显示的年份。然而，我似乎被困在了我的实现中。这是网站网址：https://www.pgatour.com/tournaments/masters-tournament/past-results.html 这是一个个人项目，每年收集每个主要锦标赛的高尔夫数据一旦选择了年份，我知道如何提取所需的统计数据。以下是下拉菜单的网站</
浏览 19提问于2019-04-17得票数 3
1回答
我目前正在进行一个项目，该项目通过搜索查询(即谷类食品)来抓取杂货店页面上的数据，并将其显示在旋转视图中。但是，我很难找到一种从页面中抓取数据的方法。我试着使用Jsoup，因为这是在线的concensus，但这不支持JavaScript。
问题在于，如果不是全部的话，大多数这样的网站都使用DOM存储来更新股票列表和价格。这就是为什么像JavaScript这样的库不能工作，因为它们不会为任何返回HTML。我目前有一个通过WebView显示页面的原型，但是
浏览 1提问于2021-11-19得票数 0
回答已采纳
1回答
动态实时网站的Web抓取
、、、、
我几乎没有尝试从这个页面中刮取以下数据：我试图创建一个列表，这样我就可以将它们作为数据类型来处理，并进行一些计算。有人告诉我bs4不读动态网站，所以我转而使用selenium，编写了如下代码：from selenium.webdriver.common.by[] job_list.append(job.get_attribute('href'))因
浏览 5提问于2022-10-19得票数 0
回答已采纳
我正在创建webscraper，它将从这个网站中动态地生成玩家数据。
我想要创建一个循环，它将从下拉菜单中为播放器生成数据，刮取数据，然后循环遍历下拉菜单中的所有播放器列表。我很好奇是否使用selenium与站点交互是最好的方法。但我也注意到，每个播放器的URL都遵循特定的模式，所以我考虑了抓取初始页面来收集我需要的所有数据，然后使用这些数据构造URL列表，然后循环遍历URL列表并将它们作为静态页面处理。是否有为这
浏览 6提问于2020-03-18得票数 1
回答已采纳
1回答
我正在尝试抓取web动态页面，但使用scrapy时，我不能检索所有信息，因为我想要的信息是动态的。 我试着使用Selenium，但与Scrapy不同的是，你不能指定头部，网站阻止了我。(我不能说出这个网站的名字，因为抓取是非法的，但它是一个著名的旅游元搜索引擎...)。我有一个带有验证码解算器的页面(用脚本很难解决重新验证码)，
浏览 23提问于2019-06-13得票数 0
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？
浏览 1提问于2013-06-14得票数 4
class, 'h5 js-price v-spacing-mini art-pl-price')]") %>% data.frame()
然而-这是返回一个空的数据帧
浏览 7提问于2020-06-18得票数 2
回答已采纳
我正在尝试使用rvest获取数据(也尝试使用XML和selectr)，但遇到以下问题时遇到了困难：<span data-widget="turboBinary_tradologic1我想获取1226.45，但是当我运行我的代码(下面)时，它说那里没有存储的信息。这与它是一个小部件的事实有关吗？如能就如何开展工作提出任何建议，将不胜感激。
浏览 9提问于2017-02-15得票数 0
回答已采纳
2回答
我正在寻找一种方法来做网页抓取后，在其搜索框中键入。让我用一个例子更好地解释:我正在寻找一个R函数，它直接在amazon主页上写入单词"notebook“，这样我就可以随后对生成的页面进行web抓取。感谢大家的帮助。
浏览 2提问于2021-01-25得票数 1
1回答
如何从web归档文件下载网站
、、、、
我几乎花了一个月的时间试图弄清楚如何从web.archive.org的web存档中下载网站
sudo wget --limit-rate=200k --no-clobber --convert-links--random-wait -r -p -E -e robots=off -U mozilla http://web.archive.org/web/20031208182936/http://www
浏览 0提问于2017-01-25得票数 1
2回答
我是个刮东西的新手。我写了一个 刮板 它将擦伤 Maplin 商店。我使用Python语言和BeautifulSoup来抓取存储。我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。所以，我写的刮板不适用于其他eCommerce商店。 我想知道比价网站是如何从所有在线商店中抓取数据<e
浏览 40提问于2014-12-28得票数 7
回答已采纳
我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的
浏览 7提问于2014-04-06得票数 1
回答已采纳
我正在使用Firefox::Mechanize来抓取一个网站。我被一个下拉菜单卡住了，这个下拉菜单有一个onchange事件与之关联。我可以从下拉菜单中选择我想要的选项，并且我能够验证这一点，因为下拉菜单现在显示了我选择的选项。但它不会触发与之关联的onchange事件。我在想，在选择我的选项后，我可能需要一个"click“事件，但我不确定如何准确地合并它。下面是HTML
浏览 3提问于2015-10-28得票数 0
2回答
我正在尝试使用request.get( url )从服务器获取url的响应。以下代码适用于搜索结果第一页的url：soup = BeautifulSoup(r.text)r = requests.get("https:/
浏览 0提问于2018-05-30得票数 0
我的问题是，我在这个网站上有数千个页面，我不能一个接一个地访问它们，因为这会花费很多时间。有没有网络爬虫或类似的东西来做这个任务？只是为了访问页面，因为访问页面会生成缓存文件，然后它的工作速度会更快。
浏览 14提问于2017-03-03得票数 0
实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。我能做些什么来获得包含全部内容的HTML代码吗？
请求网址：
浏览 0提问于2019-09-12得票数 1
回答已采纳
这是与我的问题最接近的问题，但它并没有得到很好的回答：
你每秒应该做多少个请求来抓取？对此有什么标准吗？当然，所有的大型搜索引擎在这方面都有一些他们所遵循的准则。
浏览 0提问于2010-05-30得票数 10
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
