我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
我只是在寻找屏幕抓取包含flash视频的网页。在使用抓取网页时，我喜欢抓取嵌入的代码片段并下载视频数据。有人能帮上忙吗？
参考可能的帮助：
浏览 0提问于2015-01-19得票数 1
3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我正在尝试用Google sheet和ImportHTML (以及它的变种，如ImportXML和ImportData)从网页上抓取股票行情。它可以在一些网页上工作，但不能在其他网页上工作。我无法从其中导入数据的网页的一个例子是。
我使用了以下代码：=IMPORTHTML("https://www.barchart.com/stocks/performance/price-change/advances","table",0)。有没有办法下载或抓取这些数据？
浏览 9提问于2020-06-15得票数 0
我正在尝试使用python的pandas库从雅虎财经中抓取数据，使用DataReader从熊猫中提取历史价格数据，但我也想从雅虎财经的关键统计网页中提取数据，比如“价格/账面比”。但我不确定如何修改DataReader来拉取历史价格以外的数据。
我想使用pandas库来做我所有的网页抓取，pandas中有没有不同的函数可以让我为雅虎财经的不同网页拉取数据，或者修改DataReader函数来拉取其他数据？就像将所有内容都保存在HTML中？
浏览 0提问于2015-08-17得票数 0
1回答
到目前为止，我正在抓取来自不同来源的数据，比如实时流Twitter和Facebook，并将其存储在单独的DB中。在此之后，我使用这些大数据来了解用户的行为和其他类型的分析。
我试图做的是相同的，但在黑暗的网页，我想抓取所有的网页，可以访问的TOR浏览器。我在几个博客里搜索过这样的东西，但我发现所有的博客都只是在爬行日志文件。
有没有可能像我们使用社交媒体平台API那样，抓取黑暗的网页呢？
浏览 4提问于2017-02-17得票数 1
回答已采纳
我正在用Python开发一个屏幕抓取工具。但是，当我浏览网页的源代码时，我注意到大多数数据都是通过Javascript获得的。
有什么想法，如何抓取基于javascript的网页？有没有用Python写的工具？
谢谢
浏览 4提问于2011-11-18得票数 4
回答已采纳
6回答
我正在尝试开发一个应用程序，在该应用程序中，我将在Nutch中为urls文件提供一组受约束的urls。我能够抓取这些urls，并通过读取数据段中的数据来获取它们的内容。
我已经爬行给出了深度1，因为我没有办法关心网页中的外链或内链。我只需要urls文件中的网页内容。
但是执行这种抓取需要时间。所以，建议我一个方法来减少抓取时间和提高抓取速度。我也不需要索引，因为我不关心搜索部分。
有没有人有关于如何加速爬行的建议？
浏览 0提问于2011-02-02得票数 3
这是我在这个页面上的第一个问题。 我有一个列表，它可以帮助我在网络上搜索列表中的元素： list = ["web-page","web-page1", "web-page2"] 然后是Web抓取过程，它遍历要抓取的网页列表。我在这个过程中有代码，一个小的过程来清理每个网页的刮擦，并将这个结果连接成最终的数据帧。 result = pd.concat([characteristic1, characteristic2], axis=1, sort=False)
result2 = pd.concat([result, characteristic
浏览 9提问于2020-07-03得票数 0
回答已采纳
1回答
抓取数据uri图像
、、、
我想从网页上抓取图像，问题是图像是作为数据URI包含在源代码中的。如何将它们保存到文件中？(我只需要从特定的抓取数据URI代码访问URI图像)
浏览 2提问于2013-06-26得票数 0
1回答
我试图从以下网页抓取数据，我需要一个表格格式的记分板。有人能帮我吗？我正在使用python3。我对网络抓取是个新手，对网页的内部原理不是很熟悉。提前感谢！
我试着在urllib2中使用BeautifulSoup，等等，但是什么地方都没找到。
浏览 2提问于2019-11-01得票数 0
如何使用autoHotKey AHK从网页上抓取表格？我使用AHK登录到一个页面，现在只想从该页面抓取表格，该页面有很多数据，包括多个表格。
浏览 53提问于2020-02-04得票数 0
我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。
在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。
我已经写了下面的代码，但循环不会重复从原始网页的链接中获得新的抓取页面。
import requests
from bs4 import BeautifulSoup
page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page, 'lxml')
for search_result
浏览 7提问于2019-08-16得票数 1
回答已采纳
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
3回答
我正在创建一个经常从远程网页抓取数据的web服务。收集完这些数据之后，我就有了一个简单的多维数组信息可供使用。抓取过程在我的服务器上相当繁重，页面加载也需要一段时间。我正在考虑使用MySQL数据库添加一个简单的缓存系统，在其中我为每个远程网页创建一行，并将从中提取的信息数组存储为JSON编码字符串。这是一个足够好的系统吗？或者像每个网页一个文本文件这样的东西是不是更好呢？
浏览 1提问于2010-05-28得票数 0
回答已采纳
我必须实现网页抓取使用MVC，但首先我必须登录到第二个网站，以获取数据(如登录到管理员)，其中.net登录是不可用的。
例如，我必须从https://talent.stackoverflow.com/users/login抓取数据，但是在登录之后，我想从用户页面获取数据。有没有可能在通过MVC .Net登录后从这个url中抓取数据，如果我有凭证的话。
浏览 4提问于2017-03-31得票数 0
1回答
我想知道我们是否能刮到我们目前所在网页的网址？
例如，如果我想从scrapy.org中抓取数据，那么我可以定义规则来提取数据和页面中提供的链接。但是，我可以把url scrapy.org本身作为一个url从那个网页上刮下来吗？由于我们当前所在的url将不会在html文件中提及，那么有什么方法可以这样做吗？
下面是我想要解决的问题：
我正试着从网页上抓取工作描述。
我想知道我们是否也可以提取到该页面的超链接。
浏览 1提问于2014-02-20得票数 0
回答已采纳
使用mocha+protractor...例如。你有一个测试规范去访问一个网页并从该网页上抓取数据。
你有一个描述，然后是一系列点击网页的its。
在此之后，您可能希望包含另一个it，它处理抓取的数据并测试有效性/完整性，然后为每个抓取的数据点生成一套新的测试。
从我发现的情况来看，Mocha目前不支持这一点，这是基于设置全局describe和it函数(及其关联的上下文)的pre-require和require事件发出的方式。
我可以很容易地覆盖describe和它的功能，手动将新生成的套件和测试/等附加到正确的父级...然后把它们放回原来的样子。但想知道是否有根本的原因，这不是(似乎)故意阻
浏览 1提问于2014-11-13得票数 0
2回答
使用htmlunit抓取动态网页
、、、、
我正在使用HtmlUnit从一个动态网页中抓取数据，它使用无限滚动来动态获取数据，就像facebook的新闻馈送一样。我使用下面的句子来模拟向下滚动事件：
webclient.setJavaScriptEnabled(true);
webclient.setAjaxController(new NicelyResynchronizingAjaxController());
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)");
webclient.waitForBackgroundJavaS
浏览 1提问于2012-08-25得票数 12
我正在尝试抓取一些网页，考虑到每个网页大约需要2秒，而我有20k个这样的网页，我决定使用multiprocessing库来创建几个进程来同时抓取这些网页。
我的设置是一个包含以前解析过的数据的pandas数据帧和一个“新数据”字典。由于我不知道是需要抓取网页还是已经抓取了网页，因此我创建了一个带有multiprocessing.Manager.dict().的multiprocessing.Queue实例我有一个名为queueFill的函数，用于验证数据是否在数据帧中，如果不在，则将有问题的链接放入multiprocessing.Queue实例中。还有一个函数getData可以从multipr
浏览 23提问于2018-07-29得票数 2
1回答
根据要求，我需要在一个网页的内容刮。为了实现这一点，我创建了一个windows应用程序，并在主窗体中添加了一个web浏览器控件。这样我就能看到报废的过程。我能够登录到该网页并导航到所需的网页。我还可以通过编程的方式双击网格单元格。但当前的问题是，当以编程方式双击网格单元格时，如果所需数据不可用，我会收到一条警告消息
因此，抓取过程自然会中断，我们需要手动单击“确定”按钮来继续抓取过程。如何避免抓取过程中收到告警信息？
浏览 0提问于2013-05-30得票数 4
回答已采纳
1回答
问题陈述： 我有这个网页中的每个候选人都有一个链接，其中包含一些信息，我想抓取。 因此，对于所有候选人，我必须单击链接并手动获取详细信息，这是一项繁琐的任务。 我想自动化这请帮助我。 候选人名单 ? 我的解决方案是： 我认为要自动化这项任务，我应该编写一个脚本，它会单击每个链接并抓取数据。 但我想知道如何抓取一个需要登录的网页。 您看到的网页只能通过登录页面访问。 如果除了这种方法之外，任何人有更好的解决方案来完成这项任务-请帮助。 谢谢：)
浏览 18提问于2019-03-02得票数 0
回答已采纳
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
1回答
Nutch:数据读取和添加元数据
、、、、
我最近开始寻找apache nutch。我可以做设置，并能够用nutch抓取我感兴趣的网页。我不太理解如何读取这些数据。我基本上希望将每个页面的数据与一些元数据(现在是一些随机数据)关联起来，并将它们存储在本地，稍后将用于搜索(语义)。我需要使用solr或lucene来做同样的事情吗？我对所有这些都是新手。据我所知，Nutch是用来抓取网页的。它可以做一些额外的功能，比如向爬行的数据添加元数据吗？
浏览 1提问于2012-05-27得票数 5
回答已采纳
2回答
有没有办法在R中用给定的URL启动internet explorer？我想要抓取网页以提取某些值，但我想打开网页本身，这样我就可以逐一检查每个网页，以确保数据看起来是正确的。
浏览 0提问于2011-12-13得票数 15
回答已采纳
1回答
我正在尝试使用JAVA中的JSoup库从网页中抓取数据。然而，这里的问题是，我想要抓取的数据是基于XML加载的，所以当我试图从HTML解析它时，它会显示出来
<div id="report-details-container">
<!-- Container where HTML template will be loaded based on XML -->
</div>
而不是完整的HTML，它只显示这个注释。
我如何抓取数据，因为在inspect元素中我可以看到完整HTML。
浏览 0提问于2017-10-14得票数 1
1回答
我看到一些像这样的搜索网站，我想知道他们是如何在price，image和description等其他网站上抓取数据并将其显示在他们的网站上的。
我正在考虑使用Solr来索引数据，使用Nutch来抓取数据。我是网络爬行和索引的新手，到目前为止，我只能抓取网页的内容。
Solr Nutch能做这种爬行吗？又是如何做到的？
浏览 1提问于2015-08-28得票数 0
1回答
我有一个网站，我正在抓取，需要滚动水平(到最右边)和垂直(到最底部)的一个网页上的表格。我使用的是Python3、Selenium和Chrome Driver。
我可以抓取表格数据，但它只能抓取我网页上可见的内容。当我检查网页时，我找不到任何滚动信息。
通过在线搜索，我看到了使用Selenium进行滚动的各种方法，甚至可以通过xpath查找，然后以这种方式进行滚动。到目前为止，我没有任何幸运的选择，但可能做错了。
这是我尝试过的一个例子，但它不起作用：
html=browser.find_element_by_xpath('/html/body/form/div[3]/div[2]/d
浏览 0提问于2019-10-26得票数 1
我有一个网页网址列表需要抓取。是否有可能只抓取网页列表，而不是深入抓取它。如果我添加的url作为种子，它抓取完整的网站与完整的深度。
浏览 4提问于2012-08-10得票数 1
回答已采纳
我熟悉从网页抓取数据的BeautifulSoup和urllib2。但是，如果在返回我想要抓取的结果之前需要在页面中输入一个参数，该怎么办？
我正在尝试使用这个网站获取两个地址之间的地理距离：
我希望能够转到页面，输入两个地址，单击“显示”，然后提取“按乌鸦飞的距离”和“按陆路运输的距离”值，并将它们保存到字典中。
有没有办法用Python把数据输入到网页中？
浏览 2提问于2011-08-13得票数 8
回答已采纳
3回答
使用C#，我尝试用几个参数从网页内容中抓取/抓取数据：
我可以使用WebClient和WebRequests对象发出请求并接收响应，但在页面最初被点击时，它会要求单击“同意”按钮。有没有可能仅仅使用C#代码就可以点击这个网页，模拟按钮点击，并访问页面(使用.txt内容进行二次响应)？
如果任何人有其他想法，我也持开放态度。
谢谢。
浏览 1提问于2015-10-08得票数 0
2回答
我正在学习。
我想找出抓取的网页大小或响应的大小在KB或MB等使用Scrapy。
我可以用response.body找出抓取的网页的内容长度
要了解每个request下载了多少数据，最简单的方法是什么？
我试着理解，这与我的需求很相似。但是我不能理解这些代码。
parse(self, response):
url=response.url
content=response.body
#download_size=
浏览 2提问于2014-04-21得票数 0
哇，这很复杂，但我基本上需要通过一个单独的Perl脚本来触发网页中的$.ajax函数。
我有一个网页，它的$.ajax调用一个Perl文件，该文件抓取数据并将其返回给网页。然后javascript分析数据并创建另一个javascript函数调用，该函数调用请求Perl发送带有该数据的电子邮件。Perl抓取数据，发送给js，js再次调用Perl通过电子邮件发送分析后的数据。
我被要求编写一个Perl脚本来单独发送电子邮件，但是我迫切需要使用现有的代码；那么，我的Perl脚本是否可以调用那个特定的$.ajax来获取数据，分析它，然后再次将其发送给Perl以发送电子邮件？
有什么想法吗？
浏览 0提问于2014-11-18得票数 0
1回答
我需要网络抓取一个特定的网站，但它不允许网络抓取(403错误)。我正在考虑复制我需要的网站的html数据，并将其放入txt文档中，这样我就可以把它当做一个网页来抓取。这是可能的吗，还是有更好的方法来做这件事？
浏览 40提问于2018-07-19得票数 -3
回答已采纳
2回答
我需要创建一个蜘蛛，从网站抓取一些数据。数据的一部分是外部URL。
我已经创建了从根站点抓取数据的爬行器，现在我想为外部网页编写爬行器。
我正在考虑创建一个爬虫蜘蛛，它使用SgmlLinkExtractor来跟踪每个外部网页中的一些特定链接。
向第二个爬行器传达start_url列表的推荐方式是什么？
我的想法是为这些项生成一个json文件，并读取第二个爬行器的start_requests中的属性。
浏览 1提问于2012-07-19得票数 1
回答已采纳
网页链接-
我试过使用熊猫、read_html和bs4这样的网络抓取库，但是没有运气，因为网页上的数据没有包装在一个表标签中。请帮帮我!
浏览 3提问于2021-02-17得票数 0
回答已采纳
我正在使用AWS EC2实例上的crontab从web上抓取大量数据。脚本抓取数千个网页，并在每个页面之后打印"webpageID完成“。因为我计划运行脚本，然后注销实例，所以我使用crontab上的以下命令将stdout输出保存到日志文件中：
0 19 26 10 * /home/ec2-user/scrape.sh &>> /home/ec2-user/output.log
该脚本在抓取了10,000个网页后崩溃，但出于某种原因，output.log在8,000个网页后停止打印"webpageID done“。output.log中的最后几行如下所示：
浏览 0提问于2019-10-27得票数 0
我想知道如何实现一个解决方案来检索我抓取的数据，并将其用于在ASP.NET MVC应用程序中显示。
当前的实现抓取数据并将其从控制器显示到视图，然而，通过这样做，由于在处理查看具有抓取的数据的页面的请求时运行的刮取器，查看网页的请求将花费非常长的时间。
有没有什么实现可以将数据检索和网站分开？
目前，我有一个抓取数据的控制台应用程序抓取器类，以及一个显示数据的ASP.NET MVC应用程序。我如何才能轻松地将它们耦合在一起呢？
浏览 3提问于2016-03-16得票数 3
2回答
是有经验的人从雅虎抓取数据！财务关键统计页面与R？我熟悉使用read_html、html_nodes()和html_text()包直接从html中抓取数据。但是，这个网页有点复杂，我不确定是否所有的统计数据都保存在XHR、JS或Doc中。我猜数据存储在JSON中。如果有人知道用R提取和解析这个网页的数据的好方法，请回答我的问题，非常感谢！
或者，如果有更方便的方法通过quantmod或Quandl提取这些指标，请告诉我，这将是一个非常好的解决方案！
浏览 4提问于2016-10-25得票数 2
回答已采纳
我正在使用Scrapy，特别是Scrapy的CrawlSpider类来抓取包含某些关键字的web链接。我有一个相当长的start_urls列表，它从一个连接到Django项目的SQLite数据库中获取条目。我想将抓取的web链接保存在此数据库中。
我有两个Django模型，一个用于起始http://example.com，一个用于抓取的网页链接，如http://example.com/website1，http://example.com/website2等。所有抓取的网页链接都是start_urls列表中的一个开始网址的子网站。
web链接模型与起始url模型具有多对一关系，即web链接模型
浏览 1提问于2012-05-15得票数 7
回答已采纳
2回答
他们是否有办法在没有任何浏览器的情况下，在抓取html之后执行网页javascript的加载事件。即我需要抓取网页内容通过javascript呈现例如bbc新闻网页的视频在页面加载后通过javacscript呈现，我对抓取视频链接和镜头描述感兴趣。
浏览 0提问于2012-06-27得票数 1
1回答
我想从一个动态网页中抓取一些内容(它似乎是在MVC中开发的)。
数据抓取逻辑是用超文本标记语言的敏捷性完成的，但现在的问题是，从浏览器请求网址时返回的超文本标记语言和从ASP.NET网页请求的网址的网页响应是不同的。
浏览器响应主要包含我需要的动态数据(根据查询字符串中传递的值呈现)，但WebResponse结果不同。
你能帮我获取动态网页查看WebRequest的实际内容吗？
下面是我读过的代码：
WebRequest request = WebRequest.Create(sURL);
request.Method = "Get";
//Get the response
W
浏览 3提问于2014-09-24得票数 7
2回答
我正在尝试抓取一个使用GWT构建并使用GWT RPC机制进行AJAX调用的网页。我试图抓取的页面不是我的，所以我不能编辑服务器端。我对GWT非常陌生，从我使用它的最初几天开始-我认为除非有case接口，否则不能对数据进行反序列化。
我说的对吗?或者有没有一种智能地抓取数据的方法？
浏览 0提问于2011-12-05得票数 1
回答已采纳
我想从其他网站页面上抓取数据，这些页面动态加载表格的数据。我正在使用Php和简单的Html Dom进行抓取，搜索后没有找到任何解决方案，如何从网页中抓取动态数据？或者有另一种方法可以做到这一点？
我必须从这个url->中抓取表数据。
我使用下面的代码来做这件事。
$url = "https://fantasy.premierleague.com/a/leagues/standings/313/classic";
$html = file_get_html($url);
$html->find('div#ismr-classic-standings')
浏览 3提问于2016-08-23得票数 2
1回答
我正在运行的代码打开了一个网页来获取数据。一旦我打开一个新的选项卡，并尝试从该网页上刮取数据，它就会从原来的网页中抓取数据。有什么命令或功能我应该试试吗。创建一个新选项卡的行-
driver.switch_to.new_window('tab')
任何帮助都将不胜感激。
浏览 2提问于2022-09-15得票数 -1
2回答
我从一个网页抓取数据，该网页返回以下形式的时间戳(这是一个字符串)：
2013-11-09T15:14:48.957604
我如何在PHP中解释它，在MySQL数据库中存储它的最好方法是什么？
浏览 0提问于2014-12-28得票数 0
大多数网页的数据都可以通过简单地下载HTML然后解析出所需的内容来抓取。然而，有些网页在加载后使用JavaScript动态加载其内容，从而导致在原始的HTML中找不到所需的数据。
请告诉我如何才能获得动态生成的JavaScript数据使用网络刮板。
浏览 4提问于2012-05-12得票数 0
如何绕过缺失的环节，继续抓取好的数据？
我使用的是Python2和Ubuntu14.04.3。
我正在抓取一个有多个链接到相关数据的网页。一些相关的链接丢失了，所以我需要一种方法来绕过丢失的链接并继续抓取。
Web page 1
part description 1 with associated link
part description 2 w/o associated link
more part descriptions with and w/o associcated links
Web page n+
more part descriptions
我
浏览 0提问于2015-12-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
