下面是我的代码： from selenium import webdriverfrom lxml import etree
url = 'https://www.morningstar.com/section/div/div/div[1]/div/div[2]/div/div/div/div[2]/ul/li[7]/div/div[2]/
浏览 7提问于2020-01-27得票数 1
回答已采纳
我们知道，在浏览器中，可以查看->网络-> XHR -> Headers和get Request Header。然后可以将这些标头添加到Scrapy请求中。但是，有没有一种方法可以使用Scrapy请求自动获取这些请求头，而不是手动获取？我尝试使用：response.request.headers，但此信息还不够：
{b'Accept': [b'text/html,application/xhtml+xml,application/xmllike
浏览 50提问于2021-05-21得票数 0
回答已采纳
2回答
我想抓取一些网页，如下所示
http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g
我想抓取整个页面手动，我必须反复点击按钮，直到没有更多的加载，通过自动化，我如何<e
浏览 1提问于2013-01-10得票数 0
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执
浏览 5提问于2015-04-16得票数 13
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索from bs4 imp
浏览 1提问于2013-05-17得票数 15
3回答
我在windows机器上使用python 3.2 (newb) (虽然如果需要的话，我在虚拟机器上有ubuntu 10.04，但我更喜欢在windows机器上工作)。基本上，我可以使用http模块和urlib模块来抓取web页面，但只有那些没有java脚本document.write("<div....")的页面才能运行。当我获得实际的页面时，它会添加不存在的数据(意思是没有真正的<
浏览 3提问于2011-03-17得票数 0
回答已采纳
我需要使用selenium模块从网络摄像头服务器中获取图像帧。知道吗？谢谢。致以问候。
浏览 6提问于2013-07-14得票数 0
回答已采纳
我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
当你接近底部时，一些网页可能会通过ajax扩展，Facebook就是一个众所周知的例子。我特别感兴趣的是截屏电影的电影列表页面。它确实有一个结尾，但当你向下滚动时，你可以看到它在添加电影。有没有办法使用BeautifulSoup来获取页面上的所有内容？
浏览 18提问于2018-08-24得票数 0
1回答
我从事一个学术项目，该项目需要使用由Requests和BeautifulSoup库提供支持的Python脚本来抓取互联网上的各种新闻文章。最近，我的任务是从“华尔街日报”上抓取文章，并给了我一个订阅登录来使用。然而，在过去的任务中，我从来不需要在浏览实际文章之前登录网站。我遵循了通过请求和POST登录的基本逻辑，但看起来WSJ的登录并不遵循该协议-我仍然收到“未订
浏览 17提问于2019-10-18得票数 0
回答已采纳
4回答
我想要访问一些HTML表数据，以便保存和脱机使用它们。目前，当我下载网页并将JavaScript放入该文件时，我使用的是JavaScript，它可以正常工作。但是我想直接从网页中获取元素，而不需要下载之前的内容，或者让JavaScript自动下载并从下载的文件中获取元素。 这有可能吗？我找不到答案，因为每个人都要求自己的网页，但我没有</
浏览 32提问于2019-02-23得票数 0
我不确定要给出什么标记，但是我在python中使用Selenium，所以我决定从这里开始。我正在使用python中的selenium和requests抓取一个网站数千次。它的启动速度相当快，但在3400页加载标记附近，它的速度从.1秒左右减慢到3或4秒。任何关于什么在减缓网页加载的想法。该程序正在一个非常低功耗的Linode (
浏览 6提问于2022-07-08得票数 0
我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。我能做些
浏览 0提问于2019-09-12得票数 1
回答已采纳
我想知道保存Selenium访问站点时检索到的所有文件的最好方法是什么。换句话说，当Selenium访问时，我希望保存HTML、JavaScript (包括src标记中引用的脚本)、图像以及iframes中可能包含的内容。如何做到这一点？我知道getHTMLSource()将在主框架的主体中返回HTML内容，但是如何将其扩展为下载重新呈现该页面所需的完整文件集。提前感谢！
浏览 0提问于2010-06-16得票数 13
2回答
我希望从一个给定的网站使用Python3和BeautifulSoup提取所有表单。下面是一个执行此操作的示例，但无法提取所有表单：from bs4 import BeautifulSoup
for form in forms: print('\n\n')
浏览 0提问于2017-03-27得票数 2
我试图从这个网站获得世界人口：，但我只能获得html代码，而不是实际数字的数据。import urllib.request
‘’从网站获取html到文本‘’
s
浏览 2提问于2019-05-11得票数 2
回答已采纳
因此，荷兰每年都会举行一项名为"Top2000“的广播活动，人们可以投票选出他们最喜欢的艺术家和歌曲。我觉得分析一下音乐和艺术家的喜好会很酷。为此，我需要朗读投票列表上的艺术家/歌曲，这些列表是通过网址与我共享的，例如 one。我已经尝试了webread，urlread和wget来下载网页，如下所示：
url = 'https://stem.nporadio2.nl/top2000/
浏览 2提问于2018-12-03得票数 0
我目前正在学习如何使用Python (3.7)实现自动化。
因此，首先，我在我的MacBook (Mojav10.14.1)上安装了带有Homebrew的Selenium独立服务器3.141.5。我认为这将是一个简单的方法，安装是成功的。在此之后，我使用了一个小Python脚本来用Selenium测试火狐webDriver --只是为了看看一切是否正常，但没有.Users/Sandra&#
浏览 0提问于2018-11-14得票数 0
回答已采纳
我试图从url链接的中抓取一些基本的产品信息，但是bs4 div命令找不到任何数据，因为给定了与产品find_all关联的类名。'lxml')print(product_list)
但是这会打印一个空的列表查看了Chrome上的网页，我知道'productListTile‘是正
浏览 25提问于2021-06-05得票数 2
我正在使用Python和Selenium浏览一个网站。TypeError: can't access dead obj
浏览 3提问于2016-12-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
