2回答
他们是否有办法在没有任何浏览器的情况下，在抓取html之后执行网页javascript的加载事件。即我需要抓取网页内容通过javascript呈现例如bbc新闻网页的视频在页面加载后通过javacscript呈现，我对抓取视频链接和镜头描述感兴趣。
浏览 0提问于2012-06-27得票数 1
我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。
谢谢!
浏览 0提问于2013-04-12得票数 0
回答已采纳
嗨，我正在用Chrome中的bookmarklet开发爬行程序。
我想定期抓取网页和解析html页面。网页可以每隔5秒重新加载一次，但不会执行页面加载警报。
以下是我的代码
window.addEventListener('DOMContentLoaded', function()
{
console.log("page loaded");
});
function happycode(){
alert('page loaded');
}
setInterval(function(){
console.log(&
浏览 0提问于2020-03-07得票数 0
2回答
我想知道如何让python web抓取所有的结果到excel中。这并不是我不知道如何抓取网页，而是我不知道如何抓取excel。
浏览 2提问于2012-04-21得票数 2
3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我正在尝试编写自己的Nutch插件来抓取网页。问题是，我需要识别是否有一些特殊的标签，例如在网页上。在官方文档中有一些说明，使用Document.getElementsByTagName("foo")可以做到这一点，但这对我不起作用。你有什么想法吗？
我的第二个问题是，如果我识别了上面的标签，我想从这个网页上获得一些其他标签，其中标签被识别…有没有办法存储某个时刻被抓取的网页的完整源代码？
谢谢，简。
浏览 2提问于2013-03-30得票数 1
回答已采纳
1回答
如何从ajax类型的网页中抓取网页源代码: curl似乎不能获得ajax生成的源代码。
如果重复，很抱歉，但是正在寻找抛出的问题没有找到答案。
浏览 0提问于2012-03-30得票数 1
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
2回答
我想尝试一些基本的网页抓取，但遇到了一个问题，因为我习惯了简单的td标签，在这种情况下，我有一个网页，它有以下前标签和所有的文本，这意味着它是有点棘手的抓取它。
<pre style="word-wrap: break-word; white-space: pre-wrap;">
11111111
11111112
11111113
11111114
11111115
</pre>
对如何抓取每一行有什么建议吗？
谢谢
浏览 0提问于2019-01-07得票数 3
1回答
我正在使用烧瓶和抓取刮从网站的结果。在这里，烧瓶网页是能够获取输入URL被刮，然后开始爬行。在此之前，一切都很好。
现在，我想让这个Flask网页以HTML标签(它包含一些要被抓取的项目的信息)作为输入，并且基于输入标签的结果应该被抓取。
简单地说，用户可以决定哪些项目应该报废，即项目应该被选择dynamically.Provide我有一些想法，我如何传递这些标签来设置在项目类别中要刮的项目？
浏览 1提问于2015-08-18得票数 0
回答已采纳
我的烧瓶应用程序进行了一些网络抓取(使用请求库)，然后在html模板(info.html)上显示结果。
烧瓶应用程序可以工作，但它只做一次网络抓取(当烧瓶应用程序启动)，这意味着如果我刷新网页后，它仍然显示相同的旧的网络抓取结果与第一次。
，我希望网页每次在浏览器中重新加载页面时，都会刷新网页抓取的结果。现在，结果不会刷新，除非我杀死烧瓶进程并再次运行它-这对烧瓶正常吗，如果是，我如何让应用程序再次运行刮擦，每次我重新加载标签？
我用的是服务员，基本上代码看起来是这样的：
from waitress import serve
from flask import Flask, render_te
浏览 0提问于2019-08-30得票数 2
1回答
YQl有没有一种好的方法来抓取网页，同时也可以通过该网页的链接来获取更多的详细信息？
例如，在博客中，索引页面显示每个新闻条目的标题，但您需要单击该标题链接来获取新闻故事和相关图片等。我需要从每个新闻条目页面抓取数据，并在索引页面上处理分页结果。
如果YQL能够做到这一点，有人能提供一些例子吗？如果不是，有没有人能推荐一个好的替代方案？
浏览 0提问于2013-03-14得票数 0
我正在尝试从网页上抓取内容。目前我被困在一个我想要抓取或下载图表的地方。该图表是一个SWF对象。我需要以编程方式下载SWF文件。
浏览 0提问于2011-11-05得票数 0
回答已采纳
2回答
对于我的一个Chrome扩展项目，我通过动态填充它的src属性，在当前网页的<iframe>标记中获取另一个网页的HTML内容。现在，我想从<iframe>标记中抓取几个值。但是jQuery总是将这个<iframe>标记显示为空。我使用的原因是在抓取页面中有一些JavaScript文件，我希望在开始抓取之前执行这些文件。我还尝试设置等待定时器，但是jQuery总是显示<iframe>标记为空(尽管src属性已设置)。
经过调查，我发现<iframe>的内部有一个奇怪的#document值，然后是普通的#document标记。我想知道这
浏览 1提问于2018-07-02得票数 0
1回答
我想知道是否有人为iOS创建了一个阅读器应用程序，允许用户在原生环境中查看网页，而不是在网页视图中？我正在尝试使用屏幕抓取方法，但在输入url以显示页面时遇到问题。
浏览 4提问于2012-12-01得票数 0
回答已采纳
2回答
基于.Net的web爬虫示例
、、、、
我使用的是VSTS2008+ C# + .Net 3.5。我想找一个工具(开源)，爬行的所有网页的网站，以及任何其他领域的网页是由这个网站链接，我想跳过他们(我只需要这个特定领域的页面)。对于抓取的网页，我想将它们存储在本地文件目录中。
有没有准备好使用开源工具的示例？
浏览 0提问于2009-09-17得票数 2
回答已采纳
form...it有一些很酷的配置编辑器，可以抓取一个.ini文件，把它全部放在网页上，然后以纯文本的形式输出所有评论，然后提供一个内联文本输入，用户可以通过网页更改配置的有效lines...so。
浏览 1提问于2011-03-25得票数 1
1回答
我已经在我的应用程序中集成了RSS Reader。如何抓取带有RSS源URL的网页？有没有免费的api可以直接在Java中使用URL来做这件事？
我必须处理网页的内容(准确地说是新闻文章)，并用它做一些算法的东西。
现在的问题是做一小部分爬虫。有没有免费的轻量级api？
浏览 3提问于2011-02-19得票数 0
回答已采纳
2回答
使用htmlunit抓取动态网页
、、、、
我正在使用HtmlUnit从一个动态网页中抓取数据，它使用无限滚动来动态获取数据，就像facebook的新闻馈送一样。我使用下面的句子来模拟向下滚动事件：
webclient.setJavaScriptEnabled(true);
webclient.setAjaxController(new NicelyResynchronizingAjaxController());
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)");
webclient.waitForBackgroundJavaS
浏览 1提问于2012-08-25得票数 12
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
4回答
程序化表单提交
、、、
我想要抓取网页的内容。内容是在填写并提交该网站上的表单后生成的。
我已经阅读了如何抓取最终结果内容/网页-但是如何以编程方式提交表单呢？
我正在使用python，并且已经读到我可能需要获取表单的原始网页，解析它，获取表单参数，然后执行X？
谁能给我指出正确的方向？
浏览 0提问于2008-12-26得票数 3
我有一个网页网址列表需要抓取。是否有可能只抓取网页列表，而不是深入抓取它。如果我添加的url作为种子，它抓取完整的网站与完整的深度。
浏览 4提问于2012-08-10得票数 1
回答已采纳
2回答
我正在做一些web抓取和使用Jsoup来解析html文件，我的理解是Jsoup不能很好地处理动态网页。有没有一种方法可以检查网页是否是动态的，这样我就不用费心使用Jsoup来解析它了？
浏览 0提问于2015-08-02得票数 1
1回答
我知道这里有几个屏幕抓取线程，但没有一个答案能让我满意。
我正在尝试使用javascript从外部网页中抓取HTML。我正在使用$.ajax，一切都应该正常工作。下面是我的代码：
$.ajax({
url: "my.url/path",
dataType: 'text',
success: function(data) {
var myVar = $.get(url);
alert(myVar);
}
});
唯一的问题是，它正在我的web服务器中查找指定的url。如何使用代理访问外部网页？
浏览 0提问于2012-09-22得票数 0
1回答
我正在玩Apache Nutch，我成功地抓取了一个网站。我想用Nutch制作一个网站的克隆，这样我就可以离线访问抓取的网页。有没有办法做到这一点？我正在寻找类似端点的东西，它接收url并返回网页内容，就像我用curl GETting url一样。
我知道有更多像这样的专业解决方案，但我想知道是否可以使用Nutch来做到这一点。
浏览 2提问于2015-10-27得票数 3
1回答
大家好！假设我有一个页面，它是我用这个脚本得到的：
page = urllib2.urlopen(url).read()
在抓取网页时，我如何有效地(快速)检查此内容是否已经抓取？我的算法是这样的：
seenContents = set()
then check if crawled content is in set or not
但我不知道该在该集合上存储什么，哈希值或其他？你能推荐些什么吗？
浏览 2提问于2012-05-21得票数 2
回答已采纳
我的理解是，当我这样做的时候：
agent = Mechanize.New
page = agent.get("http://www.stackoverflow.com/")
Mechanize将对text/html发出HTTP GET请求。然而，当我在一个完整的网络浏览器(如Chrome/Firefox)中导航到一个网页时，浏览器会读取Stackoverflow.com页面，并对相关的CSS、图像、JavaScript等进行后续的GET请求。
我可以想象解析Mechanize返回的初始HTML并识别任何CSS、图像等，然后发出后续请求，但是有没有一种更简单的方法让Mechan
浏览 1提问于2013-05-03得票数 0
每当我通过HtmlElement.Id为一些元素分配Id，然后读取WebBrowser.DocumentText属性时，元素的Id并没有我分配给它的Id。在我看来，DocumentText是对网页的IExplorer“解释”，丢弃了所有与页面视觉方面无关的东西。我尝试通过HtmlElement.Id获取Id，Id就是我分配的Id，但我需要的是找到一种从HtmlDocument (.net)映射到HtmlAgilityPack.HtmlDocument的方法，所以我想为每个元素分配一个惟一的Id，然后在每次我想访问特定元素时使用HtmlAgilityPack读取DocumentText，然后在两
浏览 2提问于2010-06-30得票数 0
2回答
我想抓取一些动态加载其组件的网页。这个页面有一个onload脚本，在我的浏览器中输入URL 3-5秒后，我可以看到完整的页面。
问题是，当我调用br.open('URL')时，响应是0秒的网页。在超文本标记语言(我想要的)和br.open('URL')的结果之间有3-5秒的差异。
浏览 2提问于2012-01-12得票数 11
回答已采纳
我正在制作一个书签，这个书签可以抓取一个网页，并构造一个URL列表，这些URL是我想要播放的，而不是当前的网页。如何创建临时网页并在浏览器中查看？
到目前为止，这就是我所得到的：
var urls = myUrlScraper(window.location.pathname);
var tempPage = "<html>" + urls + "</html>";
window.location = tempPageUrl; // How to do this?
浏览 5提问于2014-07-22得票数 0
回答已采纳
1回答
嗯，我有一些爬虫可以从不同的新闻机构网站上抓取新闻，然后自动发布到我自己的网站上，问题是我的页面会在谷歌上找到索引，但即使我搜索的是完全相同的单词，它也不会出现。
它只显示源网站，我想知道我能做什么使谷歌显示我的网页上的SERP？我应该链接到源网站吗？或者，从根本上说，抓取另一个网站并将其内容作为自己的内容发布是没有用的吗？
浏览 0提问于2013-08-13得票数 0
回答已采纳
2回答
我创建了一个网页来屏幕抓取一个站点，同时从另一个站点抓取；那个站点上有一些错误，所以它抛出了一个错误(预期的对象)。但最终我得到了完美的结果。
它显示错误发生在我的程序中。是否有可能绕过这些错误(不在屏幕上显示它们)。我不想显示这些错误，也可以在抓取时绕过警告框而不在屏幕上显示它。
请给我引路。
浏览 3提问于2009-03-05得票数 0
2回答
我使用apache Nutch 1.10来抓取网页并提取页面中的内容。其中一些链接包含动态内容，这些内容是在调用ajax时加载的。Nutch无法抓取和提取ajax的动态内容。我该如何解决这个问题呢？有什么解决方案吗？如果是，请帮我回答。
提前谢谢。
浏览 1提问于2015-10-06得票数 3
目前，我正试图在整个网页中获取一些文本数据。一开始，我抓取所有的网页，然后慢慢地在网页中筛选，从每一页抓取我需要的数据。例如，由于动态ID的原因，我在抓取诸如平方英尺或邻居之类的项目时遇到了困难。我通过XPath或CSS选择器看到的许多例子都涉及到搜索文本，但在我试图抓取的每一页上都会发生变化。有什么办法能捕捉到这片土地或社区吗？
from bs4 import BeautifulSoup
from selenium import webdriver as wd
from selenium.common.exceptions import StaleElementReferenceExcep
浏览 3提问于2019-02-05得票数 0
2回答
我一直在用PHP为一个内部应用程序创建一个网页抓取器，但是其中一个页面有一个JavaScript登录，有没有办法像往常一样自动登录来抓取数据？
(我正在使用curl登录到其他两个站点)
浏览 0提问于2010-07-23得票数 1
回答已采纳
1回答
我想从一个动态网页中抓取一些内容(它似乎是在MVC中开发的)。
数据抓取逻辑是用超文本标记语言的敏捷性完成的，但现在的问题是，从浏览器请求网址时返回的超文本标记语言和从ASP.NET网页请求的网址的网页响应是不同的。
浏览器响应主要包含我需要的动态数据(根据查询字符串中传递的值呈现)，但WebResponse结果不同。
你能帮我获取动态网页查看WebRequest的实际内容吗？
下面是我读过的代码：
WebRequest request = WebRequest.Create(sURL);
request.Method = "Get";
//Get the response
W
浏览 3提问于2014-09-24得票数 7
1回答
我想抓取有用的资源(比如背景图片)。)从某些网站。这不是一项艰苦的工作，特别是在一些出色的项目，如刮刮的帮助下。
这里的问题是，我不仅要爬这个网站一次。我还想让我的爬行长时间运行，并抓取更新的资源。因此，我想知道，有什么好的策略，一个网页爬虫得到更新的网页？
这是我想过的一个粗略的算法。我把爬行过程分成了几个回合。每一轮URL存储库都会为爬虫提供一定数量(比如，10000)的URL来进行抓取。然后下一轮。具体步骤如下：
爬虫将启动URL添加到URL存储库
爬虫要求URL存储库最多抓取N个URL
爬虫获取URL，并更新URL存储库中的某些信息，如页面内容、获取时间和内容是否已更改。
浏览 1提问于2010-04-05得票数 4
我只是在寻找屏幕抓取包含flash视频的网页。在使用抓取网页时，我喜欢抓取嵌入的代码片段并下载视频数据。有人能帮上忙吗？
参考可能的帮助：
浏览 0提问于2015-01-19得票数 1
我正在写一些链接抓取代码，我希望只抓取给定网页的<head>部分。显然，我对HEAD请求是什么感到困惑，因为我认为它应该做到这一点。相反，它只返回HTTP标头。
有没有一种方法可以只获取给定页面的<head>部分，而不获取整个文档？
浏览 0提问于2012-03-04得票数 0
回答已采纳
1回答
示例：
站点()
我想从这个目录中抓取所有的.jpg图像。我知道有很多。当我尝试使用wget时，我得到403禁止的错误。
使用镜像的完整路径：
示例：()您将能够通过浏览器/wget查看/检索图像...
使用Python，有没有办法在开发人员禁用了原始/ *.jpg /目录上的目录列表的情况下，也能抓取网页上的图像？
该站点使用的是纯http。
浏览 0提问于2018-11-16得票数 0
我试图与FireShot API集成给一个网址，抓取另一个网页的网页到一个div，然后采取截图它。
在获得HTML之后，我需要做一些事情
抓取<link> & <script>从<head> 抓取<body>到<div> <code>F 210</code>
但是第一，当我试图做一个
$.get("http://google.com", function(data) { ... });
我得到了200只红色的萤火虫。我认为这与网站不允许你用JS抓取他们的页面有关？那我就只能打开一扇窗户了
浏览 9提问于2011-03-23得票数 0
当我在(签入IB)中设置scalesPageToFit = YES时，我可以通过抓取来缩放网页视图，但是文本的初始加载对于webView来说太小了。
如果我在中设置了scalesPageToFit = NO (在IB中未选中)，则文本提要在加载时会正确缩放，但现在用户不能通过抓取来缩放文本
谁知道有什么方法可以做到这一点？请帮帮我？
浏览 6提问于2012-04-03得票数 1
当我向下滚动网页浏览器时，我想抓取一个动态生成更多内容的网站。我看过一个相关的帖子，，但它没有回答我的问题。
是否可以使用Watir web驱动程序滚动网页直到页面末尾(web服务器不再生成任何内容)，或者直到几次刷新？
浏览 0提问于2012-02-28得票数 5
回答已采纳
我在研究如何指定页面上的最后60个元素时遇到了一些问题
posts = driver.find_elements_by_xpath("""(//div[@class='hotProductDetails'])""")
for post in posts:
print(post.text)
这段代码打印网页上这些元素中的每一个文本。但我正在尝试抓取一个上面有“加载更多”按钮的网站。
“加载更多”按钮加载60多个产品，我希望我的代码只获取这些产品。这样，我就可以把所有这些都放在一个循环中，这个循环点击按钮，抓取它加载的产品，附
浏览 2提问于2017-08-18得票数 4
回答已采纳
如何使用Python计算网页(url)的大小？我尝试了urllib2并抓取了content-length报头，但它不存在。
import urllib2
url = 'http://www.google.com/'
r = urllib2.urlopen(url)
#Not sure what to do from here
浏览 3提问于2009-10-23得票数 2
回答已采纳
2回答
如何检测更改的网页？
、、、
在我的应用程序中，我使用LWP定期获取网页。有没有办法检查在两次连续的抓取之间，网页是否在某些方面发生了变化(除了显式地进行比较)？是否有在较低协议层生成的签名(例如CRC)可以提取出来，并与较旧的签名进行比较，以查看可能的变化？
浏览 10提问于2012-04-18得票数 2
回答已采纳
我正在使用Nutch索引一个网站。我注意到，Nutch已经爬过一些垃圾网页，比如。这个网页是关于2015年发生的事件，11。这对我来说完全是胡说八道。我想知道Nutch是否有可能聪明地跳过这样的网页。有人可能会说，我可以使用Regex来避免这种情况。然而，由于日历网页的命名模式并不总是相同的，因此没有办法为其编写一个完美的Regex。我知道Heritrix (一个互联网档案爬虫)有这样的功能，以避免抓取无稽之谈的日历网页。有人能解决这个问题吗？
浏览 1提问于2012-05-04得票数 0
回答已采纳
我在刮网页。该网页由50个条目组成。在50条条目之后，它提供了一个加载更多的结果按钮。我需要自动选择它。我该怎么做呢。为了抓取，我使用Python，Lxml。
浏览 0提问于2014-06-19得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
