3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我已经在我的公司网站上工作了大约10天，完全将我的网页通过$.ajax提供内容，并通过jquery构建内容。现在我发现google不会看到我的页面内容，因为它是通过javascript生成的。我已经验证过，在chrome中，当我转到View Source时，我看不到任何我通过Jquery创建的html元素。
如何让google抓取这些DIV或者说HTML？
例如：
$('.wrapper').html("<div class=\'product\'> This is Product 1 </div>");
谷歌抓取.pro
浏览 1提问于2013-11-21得票数 0
我在刮网页。该网页由50个条目组成。在50条条目之后，它提供了一个加载更多的结果按钮。我需要自动选择它。我该怎么做呢。为了抓取，我使用Python，Lxml。
浏览 0提问于2014-06-19得票数 3
回答已采纳
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
我正在开发一个使用python和Django的网页抓取代码。我已经提供了所需的url，并且已经获取了数据。但是在url上有一个标签，上面写着“显示更多结果”。如何让我Django项目点击url上的“显示更多结果”选项卡并立即获取新的结果。 我已经使用Beautiful Soup库来进行web抓取/
浏览 16提问于2021-04-15得票数 0
1回答
我试图通过网页抓取一个超文本标记语言网页https://streamelements.com/logna/leaderboard，但我在火狐的inspect元素中看到的超文本标记语言代码与该网页的超文本标记语言源代码不同。 像这样的网页抓取是有可能的吗?或者有没有一种方法可以通过inspect元素来获取代码？
浏览 16提问于2020-05-02得票数 0
回答已采纳
我的理解是，当我这样做的时候：
agent = Mechanize.New
page = agent.get("http://www.stackoverflow.com/")
Mechanize将对text/html发出HTTP GET请求。然而，当我在一个完整的网络浏览器(如Chrome/Firefox)中导航到一个网页时，浏览器会读取Stackoverflow.com页面，并对相关的CSS、图像、JavaScript等进行后续的GET请求。
我可以想象解析Mechanize返回的初始HTML并识别任何CSS、图像等，然后发出后续请求，但是有没有一种更简单的方法让Mechan
浏览 1提问于2013-05-03得票数 0
4回答
有没有一种API或系统方法，可以在通过Python抓取网页的同时，剥离网页中不相关的部分？例如，就拿这个页面来说--唯一重要的部分是问题和答案，而不是侧栏栏、标题等。人们可以猜到这样的东西，但有没有什么聪明的方法呢？
浏览 0提问于2011-05-19得票数 2
回答已采纳
有一个网页是用JS：生成的
我想抓取FTP栏中的链接。它们都是JS生成的。
默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
当一个网页抛出一个“潜在的危险脚本”错误时，我正在尝试抓取它。每次我这样做，我得到一个服务器500，但我可以抓取一个正常的，可操作的页面。有没有一种方法可以在网页抛出错误的时候抓取它？
谢谢
浏览 1提问于2009-04-29得票数 0
回答已采纳
2回答
我正在Android中开发一个应用程序，并且在网络上使用JSoup时遇到了一些问题。我已经成功地连接到网页，并返回了一些基本元素来测试库，但现在我无法实际获得我的应用程序所需的元素。
我试图用"data-at“属性获取一些元素。奇怪的是，返回了一些带有"data-at“属性的元素，但没有返回我正在寻找的元素。出于任何原因，我的代码没有提取所有共享网页上的“data”属性的元素的。
这是我正在抓取的网页的网址：
包含web抓取代码的方法：
@Override
protected String doInBackground(Void... params) {
浏览 3提问于2020-09-24得票数 0
回答已采纳
我正在寻找一种方法来列出所有加载的文件与请求模块。就像在chrome的Inspector Network选项卡中一样，你可以看到网页加载的各种文件。
问题是我要抓取的文件(在这里是.pdf文件)没有特定的标签，我猜网页是通过javascript和AJAX加载的，因为即使页面完全加载后，我也找不到有到.pdf文件或类似文件的链接的标记，所以每次我都应该转到网络选项卡，重新加载页面，并在加载的资源列表中找到文件。有没有办法捕获所有加载的文件并使用Requests模块列出它们？
浏览 0提问于2020-10-10得票数 2
2回答
我试图在一个HTMLAgilityPack webforms项目中使用c#来抓取一个网页。
我看到的所有解决方案都使用WebBrowser控件。但是，据我所能确定的，这只在WinForms项目中可用。
目前，我通过以下代码调用所需的页面：
var getHtmlWeb = new HtmlWeb();
var document = getHtmlWeb.Load(inputUri);
HtmlAgilityPack.HtmlNodeCollection nodes = document.DocumentNode.SelectNodes("//div[@class=\"nav\&
浏览 2提问于2014-07-23得票数 4
回答已采纳
2回答
他们是否有办法在没有任何浏览器的情况下，在抓取html之后执行网页javascript的加载事件。即我需要抓取网页内容通过javascript呈现例如bbc新闻网页的视频在页面加载后通过javacscript呈现，我对抓取视频链接和镜头描述感兴趣。
浏览 0提问于2012-06-27得票数 1
2回答
我一直使用JSOUP进行抓取，它的工作非常完美，直到ajax和javascript没有发挥它们的作用来显示网页内容。
现在各位，任何线索，如何刮那些内容，这些内容显示在ajax或JavaScript后，页面得到完全加载。
提前谢谢!！
浏览 6提问于2013-05-31得票数 3
1回答
相信你做得很好！
我正在抓取一些网页，当我试图转到下一个页面时，我无法转到下一个页面，因为下一个页面的结果与我在第一个页面中查找的内容无关。
示例:第一页查找：第二页：
我的问题是，第二次的结果与我想要的没有任何意义。
我正在使用带有链接提取器的爬行器进入下一个页面。能帮我一把吗？非常感谢您的支持。
浏览 0提问于2019-02-02得票数 0
4回答
程序化表单提交
、、、
我想要抓取网页的内容。内容是在填写并提交该网站上的表单后生成的。
我已经阅读了如何抓取最终结果内容/网页-但是如何以编程方式提交表单呢？
我正在使用python，并且已经读到我可能需要获取表单的原始网页，解析它，获取表单参数，然后执行X？
谁能给我指出正确的方向？
浏览 0提问于2008-12-26得票数 3
3回答
我用ASP.NET MVC3开发网站，由于视图是在第一次访问后编译的，所以有时我会遇到一些错误(如打字错误)的网站。
我想创建一些类似于单元测试的东西，它将尝试访问所有页面，以避免视图中的任何错误。
创建另一个在本地主机上抓取web的程序应该很容易，但我想将它集成到单元测试循环中。这个是可能的吗？
我应该自己写一个write simple crawler，还是应该使用一些已有的东西？
此外，这将是很好的获得列表的网页和他们的连接数量，看看哪些网页是可访问的多少个链接。爬虫应该只抓取我的网站，而不是外部链接。此外，它还可以帮助查找从起点(索引页)无法访问的页面。
我的网站有大约100个页面，所以
浏览 1提问于2012-08-09得票数 1
2回答
我想要从网页浏览器的源代码中看到的网页抓取这个网址"“。
我得到的..。
library(RCurl)
library(XML)
myurl = "https://portal.tirol.gv.at/wisPvpSrv/wisSrv/wis/wbo_wis_auszug.aspx?ATTR=Y&TREE=N&ANL_ID=T20889658R3&TYPE=0"
x = getURL(myurl, followlocation = TRUE, ssl.verifypeer = FALSE)
htmlParse(x, asText = TRUE)
浏览 2提问于2011-12-02得票数 1
回答已采纳
1回答
我有一套网页抓取使用nutch。据我所知，这些抓取的页面是以片段的形式保存的。我想从这个页面中提取某些键值，并将其作为xml提供给solr。
一个示例情况是，我爬行了一个购物网站，上面有许多产品列表。我想提取关键信息，如名称，价格，规格的产品，并忽略其余的数据。因此，我可以向solr提供一些xml，比如qwerty123qwerty，这样使用solr时，我应该能够根据价格对不同的产品清单进行排序。
现在该如何完成这个提取部分呢？map reduce会出现在图片中的任何地方吗？
浏览 0提问于2012-03-06得票数 1
1回答
我想刮网页与动态加载的内容。作为一个浏览这个网页的用户，在动态地将感兴趣的内容加载到页面之前，我必须单击HTML元素。
我知道如何以编程方式从服务器检索初始HTML，但如何以编程方式发出类似浏览器的单击，并执行任何适当的javascript，以便访问动态内容？
我是否需要在我的抓取应用程序中托管一个浏览器控件？
任何语言都适用于我，但C++/C#优先。
谢谢。
浏览 0提问于2019-01-10得票数 1
回答已采纳
我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
5回答
我想从一个flash网页上获取一些图像，然后我就得到了.swf文件。有没有办法打开.swf并抓取该文件的内容。我不是问如何播放或查看文件。如果可能的话，我实际上想打开文件并查看它的内容。我对flash一无所知，并且已经尝试过搜索了。这可能是不可能的，因为我没有通过搜索找到任何答案，但我想先在这里尝试一下。
浏览 0提问于2012-04-09得票数 11
回答已采纳
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。
谢谢!
浏览 0提问于2013-04-12得票数 0
回答已采纳
正如我所相信的那样，我不能从javascript网页上抓取“解决方案”字段。网页地址：我需要提取描述，原因和解决方案。
尝试了各种获取元素的方法，包括：
find_element_by_xpath
find_element_by_id
find_element_by_class_name。
什么也没有给出预期的结果。你能告诉我该怎么做吗？
浏览 0提问于2019-07-18得票数 0
回答已采纳
2回答
我的女朋友的任务是从一个网页上获取所有数据。该网页属于一家成人教育中心。要访问该网页，您必须先登录。url是一个.asp文件。 她必须将数据放在Excel表格中。这些条目是学生姓名，号码，身份证号码，电话等。有数千个条目。仅HR学生就有70页的参赛作品。这一切都以表格的形式显示在网页上。可以进行复制和粘贴。 我可以合理地处理Python openpyxl，我听说过web抓取，我相信Python可以做到这一点。 我不知道.asp是什么。 你能给我一些关于如何用Python获取数据的提示吗？ 我可以自动执行此任务吗？ 这是MySQL的案例吗？(我对此一无所知。)
浏览 13提问于2019-03-01得票数 0
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的
本网站通过Ajax调用动态加载同一页面中的下一页数据。所以在抓取的时候，我只能抓取第一页的数据。但我需要抓取该网站所有页面中的所有项目。
我没有办法获得这些类型的网站的所有网页的源代码，其中下一页的后续链接在当前页面不可用。请帮我解决这个问题。
浏览 0提问于2013-05-28得票数 0
1回答
我对node.js和Javascript有点陌生，所以如果这个问题措辞不当，请原谅我。
我正在使用cheeriojs从一个站点抓取数据。我正在运行js文件，它在命令行中抓取数据，并输出我想要的数据，但我希望能够在网页上访问这些数据，在那里我可以将其放入表中。(或者我想要的任何事情)。我到底该怎么做？
谢谢
浏览 1提问于2016-07-29得票数 1
回答已采纳
1回答
我正在尝试使用黑盒导出器将网页中的值嵌入到普罗米修斯中，但现在看来，http黑盒探测器不支持抓取网页的源代码，这是可以理解的。我的用例是，一个网页可以有3种状态:待机，从外部源获取，完成(这是嵌入在页面的源代码中)。我已经考虑过滥用http响应代码来做这件事，比如
200 = done,
202 = fetching,
400 = standby
然后，例如，使用probe_http_status_code进行警报。然而，我真的不喜欢这个解决方案，因为状态代码只对blackbox有意义，而对于任何其他用例来说，这都是一种痛苦。有没有一种聪明的方法可以将一些响应(例如，头的值)放入prometh
浏览 15提问于2020-02-09得票数 2
嗨，我正在用Chrome中的bookmarklet开发爬行程序。
我想定期抓取网页和解析html页面。网页可以每隔5秒重新加载一次，但不会执行页面加载警报。
以下是我的代码
window.addEventListener('DOMContentLoaded', function()
{
console.log("page loaded");
});
function happycode(){
alert('page loaded');
}
setInterval(function(){
console.log(&
浏览 0提问于2020-03-07得票数 0
2回答
我想知道如何让python web抓取所有的结果到excel中。这并不是我不知道如何抓取网页，而是我不知道如何抓取excel。
浏览 2提问于2012-04-21得票数 2
我正在尝试使用Python抓取一个urls列表的网页。我可以使用Python和漂亮的汤来抓取第一个页面，但是如果url列表很长，它会使用下面的JavaScript继续到第二个页面。
href="javascript:__doPostBack('WQResultGridView'，‘第$2页’)
我不知道怎么才能看到第二页。
浏览 0提问于2013-12-05得票数 0
如何对多页应用程序进行屏幕抓取？我想用Javascript来做这件事。以下是我考虑过的方法和遇到的问题。
在节点应用程序中使用Fetch web API获取网页的
问题:网页在获取时不能正确加载。我猜当页面被获取时，页面上的所有javascript都不会运行。
从控制台运行JavaScript的
这是将JavaScript直接注入到文档中的一种非常简单的方法。但一个问题是，打开网页是浏览器，粘贴到控制台是手动工作。另一个问题是，虽然这适用于单页面应用程序，但对于多页面应用程序来说，它变得非常麻烦。
有什么更好的方法可以解决我遇到的问题？
浏览 53提问于2018-10-09得票数 0
回答已采纳
1回答
我是新来的网络抓取，并需要快速学习工作。我在抓取客户网页时遇到了麻烦，因为我需要获取的内容对主页上的每个记录都是唯一嵌套的(300+时间)，子页面上的一些字段不在标签中，还有一点混乱。获取以下信息的最佳逻辑是什么？(另外，如果有人知道任何更新的、免费的、值得研究的抓取工具，那就太棒了。我能够获取父页面上的所有记录。我只是不知道如何跳过每条记录来访问它的子页面信息，并在移动到父页面的下一行之前抓取它。
浏览 0提问于2011-12-12得票数 0
回答已采纳
我正在尝试编写自己的Nutch插件来抓取网页。问题是，我需要识别是否有一些特殊的标签，例如在网页上。在官方文档中有一些说明，使用Document.getElementsByTagName("foo")可以做到这一点，但这对我不起作用。你有什么想法吗？
我的第二个问题是，如果我识别了上面的标签，我想从这个网页上获得一些其他标签，其中标签被识别…有没有办法存储某个时刻被抓取的网页的完整源代码？
谢谢，简。
浏览 2提问于2013-03-30得票数 1
回答已采纳
我正在使用硒来‘废纸’网页寻找反向链接到我的网站。我一直在使用普通的curl来抓取，但是curl在JavaScript上玩得并不好(实际上它们根本不能玩)。
我的问题是，我需要来自我抓取的页面的HTTP头响应(200,301,404,503等)代码。理想情况下，我希望获得的IP地址的域名，我正在抓取以及。
我在下面的链接中使用php的facebook PHP webdriver，但我找不到如何检索任何标题信息。
我的问题是，有没有办法让Selenium返回头信息和/或IP地址？
如果您不知道这个问题的答案，那么您有没有更好的方法来抓取或获取HTTP头？
提前谢谢。
浏览 0提问于2013-04-06得票数 1
回答已采纳
1回答
我正在尝试抓取这个交互式网页上的表格
以下是我的原始代码：
url='https://games.crossfit.com/leaderboard/open/2019?country_champions=0&division=1&citizenship=US&citizenship_display=United+States&sort=0&scaled=0&page=1'
US_male=read_html(url)%>%
html_nodes('#leaderboard')%>%
html_n
浏览 9提问于2019-07-24得票数 0
回答已采纳
1回答
我目前正在创建一个Chrome扩展(主要使用javascripts )，它允许用户抓取网页上的图像并下载它们。我已经完成了链接抓取部分，代码将返回如下数组：
["http://example.com/image1.jpg","http://example.com/image2.jpg"]
但是如何一键下载所有的链接呢？我尝试在一个新选项卡上列出所有照片，并让Ctrl+S的用户保存页面。但这极大地影响了UI，我不喜欢它。我没有托管网页，所以服务器端脚本可能无法工作。还有其他的解决方案吗？
浏览 1提问于2012-06-26得票数 0
1回答
如何从ajax类型的网页中抓取网页源代码: curl似乎不能获得ajax生成的源代码。
如果重复，很抱歉，但是正在寻找抛出的问题没有找到答案。
浏览 0提问于2012-03-30得票数 1
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
2回答
我试图为了自动化的目的而抓取公司的网页，但页面中嵌入的脚本阻止了我完全复制请求。最大的问题是脚本生成的cookie。
我想过用Watin自动化IE，但我对服务应用程序下的这个解决方案并不满意。
在这种情况下，你有什么建议？
提前谢谢。
浏览 0提问于2011-07-20得票数 1
回答已采纳
2回答
我想尝试一些基本的网页抓取，但遇到了一个问题，因为我习惯了简单的td标签，在这种情况下，我有一个网页，它有以下前标签和所有的文本，这意味着它是有点棘手的抓取它。
<pre style="word-wrap: break-word; white-space: pre-wrap;">
11111111
11111112
11111113
11111114
11111115
</pre>
对如何抓取每一行有什么建议吗？
谢谢
浏览 0提问于2019-01-07得票数 3
1回答
我正在使用烧瓶和抓取刮从网站的结果。在这里，烧瓶网页是能够获取输入URL被刮，然后开始爬行。在此之前，一切都很好。
现在，我想让这个Flask网页以HTML标签(它包含一些要被抓取的项目的信息)作为输入，并且基于输入标签的结果应该被抓取。
简单地说，用户可以决定哪些项目应该报废，即项目应该被选择dynamically.Provide我有一些想法，我如何传递这些标签来设置在项目类别中要刮的项目？
浏览 1提问于2015-08-18得票数 0
回答已采纳
我正在尝试用Mechanize抓取一个网页，结构如下：
<div id="searchResultsBox">
<div class="listings-wrap">
<div class="listings-header">
<div class="listing-cat">Category</div>
<div class="listing-name">Name</div>
浏览 11提问于2016-09-28得票数 1
2回答
有没有办法在进程外访问IE DOM，例如加载当前显示的页面并抓取数据的网页抓取器。我已经看到了几种下载和处理页面的方法，但当网站返回动态结果并需要登录时，这将不起作用。
我希望不必写一个bho来访问数据并通过wcf共享它。我见过一些使用c++和msaa服务器获取数据的例子，但这并不能真正帮助我获取数据，因为我不喜欢使用C++助手，因为我已经很多年没有使用c++了。
蒂娅。
浏览 0提问于2011-03-10得票数 0
Google检测到返回404错误(未找到页面)的URL数量显著增加。调查这些错误，并在适当的地方修复它们，确保Google能够成功地抓取站点的页面。
让我知道为什么谷歌在抓取该网站时会出现这样的错误。我想提醒大家，由于我已经重写了.php页面的规则
我在哪里做错了网页和内容之间的内部链接？因为我已经更新和纠正链接后，从网站管理员工作人员团队收到这条消息。
请检查和调查内部链接，并确认我是否再次错过了什么？
好心的建议。
我会感激的。
浏览 3提问于2013-11-30得票数 1
回答已采纳
我的烧瓶应用程序进行了一些网络抓取(使用请求库)，然后在html模板(info.html)上显示结果。
烧瓶应用程序可以工作，但它只做一次网络抓取(当烧瓶应用程序启动)，这意味着如果我刷新网页后，它仍然显示相同的旧的网络抓取结果与第一次。
，我希望网页每次在浏览器中重新加载页面时，都会刷新网页抓取的结果。现在，结果不会刷新，除非我杀死烧瓶进程并再次运行它-这对烧瓶正常吗，如果是，我如何让应用程序再次运行刮擦，每次我重新加载标签？
我用的是服务员，基本上代码看起来是这样的：
from waitress import serve
from flask import Flask, render_te
浏览 0提问于2019-08-30得票数 2
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
