2回答
我有两个页面(A和B)，它们是使用django + jquery编写的。它们的urls是：
http://127.0.0.1:8081/temp1/ (pageA)
http://127.0.0.1:8082/temp2/ (pageB)
我想使用ajax()在页面A的js脚本中抓取页面B，js脚本是：
$("#tmp_button1").click(function(tmp_event) {
$.ajax({
url: "http://127.0.0.1:8082/temp2/",
async: fal
浏览 0提问于2013-10-14得票数 1
1回答
我试图从有一个巨大表的页面中抓取数据，该表将100个条目显示为默认值。底部有一个select/选项，允许您将条目更改为200或全部。
如何在刮表之前将selecter设置为All，因为我希望从所有条目中抓取，而不仅仅是前100项。
我使用node.js/JavaScript从页面中抓取。
浏览 1提问于2016-10-17得票数 0
回答已采纳
我想知道如何使用php抓取facebook的用户资料页面。我尝试使用CURL、fsockopen和file_get_contents，但它没有返回处理过的超文本标记语言页面。它只返回充满JS代码的HTML页面。看起来，facebook使用Javascript加载页面。所以，我想知道，如何使用php获得经过处理的HTML页面。
注意: 1.从facebook注销。2.点击用户地址，例如：
浏览 3提问于2011-04-07得票数 0
在Chrome中，您可以访问developer > network，查看该网站提出的所有请求。
以编程方式获取这些请求列表的好方法是什么？我想我可以抓取站点的内容，抓取页面中的所有URL并解析它们，但这似乎有点乏味，特别是如果请求是从JS文件发出的。
有更简单的方法吗？
浏览 1提问于2022-03-14得票数 -2
完全的Node.js新手，所以不要评判我...
我有一个简单的要求。抓取网站，查找所有产品页面，并保存产品页面中的一些数据。
更简单的说，然后做。
查看Node.js示例，我找不到类似的东西。
有一个请求抓取器：
request({uri:'http://www.google.com'}, function (error, response, body) {
if (!error && response.statusCode == 200) {
var window = jsdom.jsdom(body).createWindow();
js
浏览 4提问于2011-03-20得票数 11
2回答
我将一个完整的超文本标记语言页面附加到一个div (抓取)。如何阻止它请求script和css文件？我尝试立即删除这些节点，但它们仍然被请求。
这是一个浏览器插件，我正在抓取JS
浏览 0提问于2015-01-06得票数 0
我尝试了以下方法，但不确定如何操作它。
manifest.json
"permissions": [
"tabs",
"http://*/*",
"https://*/*"
],
"content_scripts": [
{
"matches": ["http://*/*", "https://*/*"],
"js": ["cookie.js"]
}
]
c
浏览 2提问于2012-11-28得票数 3
回答已采纳
我正在设计一个Javascript，我需要它来抓取特定的远程HTML页面的内容。例如，我需要告诉它获取带有ID“问候”的元素的InnerHTML，并将其作为字符串发送给我。这和JS有关吗？如果没有，我需要使用Node.js还是PHP？
浏览 6提问于2015-02-02得票数 0
回答已采纳
1回答
不是100%确定我的标题是正确的，但这是我想要做的。
我已经写了一个主要是JS的小页面&一个小的PHP抓取器。脚本运行，连接到Trello，根据它找到的内容，它使用PHP抓取器抓取另一个站点，然后更新Trello中的一些卡片。
这作为可以在浏览器中加载的页面很好，但我希望将其设置为在我们的服务器上作为cron作业运行的页面。我不知道如何修改我的脚本来自动登录到Trello。我知道我可以运行它一次，授权30天等等，但理想情况下我不想一直这样做。我对此有点不熟悉，所以欢迎任何关于如何最好地处理它的记录。
**从webapps中移出
浏览 3提问于2012-02-07得票数 2
回答已采纳
1回答
谷歌通过抓取下载整个页面，然后抓取一些数据来创建索引，比如标题、元标记？
google从页面中提取的其他数据点是什么？
浏览 0提问于2012-11-01得票数 0
1回答
从页面抓取时遇到麻烦
、、、
参考我的一个，我必须抓取一个酒店的评论(所有评论)，例如这个
通过使用BeautifulSoap，我所做的是首先从具有BVRRPager BVRRPageBasedPager类的div内的分页获得所有评论页面链接，然后从所有页面中抓取评论。BeautifulSoap的问题是div.BVRRRatingSummary中的内容不会出现(尝试在禁用JS的情况下加载该页面)
我已经使用Selinium抓取了评论，但我的客户不想使用Selinium，因为它加载了整个页面的JS和图片
我想知道他们可能会使用什么样的过程来加载审查？有没有什么办法可以用BeautifulSoap抓取div.BVRRRatin
浏览 0提问于2014-11-28得票数 1
2回答
我想要抓取这个页面：
用于特定数据，如formattedDate和description。我很难理解Node.JS中的过程，我该如何在Node.JS的模块中实现这个过程呢？
任何帮助都会有很大的帮助，提前谢谢。
浏览 1提问于2018-08-10得票数 1
我正在尝试构建我的第一个Chrome扩展。基本上，我想做的是，单击扩展图标，从当前页面抓取页面标题、URL和所选内容，打开一个新窗口，然后将这些数据传递到这个新窗口中。
我已经掌握了大部分的方法，但是在窗口完全加载后，我还不知道如何执行代码。
。
我希望在窗口加载后执行contentscript.js和insertdata.js代码，并在页面上使用jQuery (如果存在)。出于某些原因，即使我设置了一个间隔来连续检查$是否是一个函数，但它从来都不是。我想我不明白为什么我不能访问页面上可用的JS函数。
而且，所有这些代码似乎都很复杂，所以我想知道是否有更好的方法来完成这一点。提前感谢您的帮助。
浏览 3提问于2012-08-30得票数 1
1回答
我正在使用Selenium在一个抓取项目中导航页面。这是HTML：
<input type="hidden" id="day_nr" value="2"/>
<div id="js-table" class="js-table table">
Day 2 of 2
<div class="js-pager">
<input id="myCustomUrl" name="myCustomUrl"
浏览 15提问于2020-02-22得票数 1
回答已采纳
1回答
我有一个HTML表单抓取前一页的网址和javasscript的页面标题，但我需要的页面标题也是前一页。它当前抓取它所在的页面。如何从上一页抓取页面标题？
这是我的代码。
<script type="text/javascript">// <![CDATA[
function start() {
var url = document.getElementById('url');
url.value = document.referrer;
var ptitle = document.getElementBy
浏览 3提问于2013-05-17得票数 0
1回答
我正在尝试做网页抓取作为我的第一个项目使用python (完全新手编程)，我几乎完成了，但是网页上的一些值丢失了，所以我想用"0“或”找不到“之类的东西来替换丢失的值，真的我只想从数据中创建一个csv文件，而不是真正地进行分析。
我抓取的网页是：
我有一个循环，它收集页面的所有te链接，然后转到每个te链接来抓取数据并将其保存在列表中，但是我的一些列表中的元素比其他列表中的元素要少。所以我只想让我的程序识别什么时候是缺失值，并在我的“size”列表中添加一个"0“或"Not found”。
用于收集页面上的链接：
tags = soup('a',{
浏览 0提问于2020-10-11得票数 0
1回答
使用AJAX请求抓取页面
、、、
我正在使用带有jsDOM的Node.js来抓取网页并在其中执行JavaScript。但是，如果页面包含AJAX请求，则不会执行这些请求。
是否有在抓取的页面中执行AJAX调用的选项？
浏览 1提问于2011-05-27得票数 4
回答已采纳
如何使用autoHotKey AHK从网页上抓取表格？我使用AHK登录到一个页面，现在只想从该页面抓取表格，该页面有很多数据，包括多个表格。
浏览 53提问于2020-02-04得票数 0
我正在尝试抓取一个使用Js的站点，但scrapy一直将下一个页面的url作为副本丢弃，并停止抓取。根据我的理解，scrapy通过检查请求所指向的资源的散列来检查重复项，默认情况下会丢弃URL中的片段。可以通过更改request_fingerprint模块中的Keep_Fragments命令来更改此行为。(参见下面的scrapy发布说明摘录) “scrapy.utils.request.request_fingerprint()的新keep_fragments参数允许为URL中具有不同片段的请求生成不同的指纹(问题4104)” 我的问题是，如何实际修改这个参数？
浏览 20提问于2020-09-09得票数 0
回答已采纳
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。
我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
我正在使用PHP包含，以便包括页眉和页脚到所有网站页面。这是很好的工作，除非我是冲浪的顶层网页，这是‘索引’和‘约’，例如。在较低级别的页面上，即“product1”和“product2”包括工作，但不抓取样式。我可以通过为内部页面创建额外的页眉和页脚来解决这个问题，在这些页面中，我将将样式链接从"styles.css“更改为”./styes.css“，但我希望找到另一种解决方案，只保留一个页眉和一个页脚。是否有办法这样做？
网站结构
-assets
-includes
header.html
footer.html
+css
+js
-products
浏览 0提问于2016-02-21得票数 2
回答已采纳
2回答
我在过去的三年里一直在开发数据抓取脚本，但从来没有遇到过像这样的困难时期。
我正在抓取一个，为了防止抓取，它显示消息Please enable JS in your browser
但是还有一些JS代码可以创建某种cookie或令牌，并重定向到实际的页面。
我只想知道代码是以什么形式编码的？我怎么解码它呢？
浏览 1提问于2017-04-28得票数 1
1回答
登录时刷新页面
、、、、
我目前已经建立了一个功能登录页面。登录后，我使用componentDidmount()抓取数据以解析用户信息(名称等)。 登录时，我当前正在从react-router使用Redirect；但是，这不会刷新页面。 不使用Redirect并在登录后重新加载页面的最好方法是什么？这样，我的信息就可以从componentDidMount()中获取。 我也使用了ComponentWillReceieveProps，但它也不能满足我的代码需求 谢谢! 尝试： From Login.js
const { error, loading, token } = this.props;
const {
浏览 19提问于2020-03-23得票数 0
1回答
我想做一个应用程序，该应用程序将有一个网页的内容，由web API提供，并由knockoutjs获取。我应该如何处理我想要抓取的页面，有没有一个库可以在爬虫进入网站并正确集成到sails.js中时生成静态html页面？
如果我可以把!#从url中去掉，那就太好了，但这不是必须的
浏览 2提问于2015-06-16得票数 3
我是一个抓取网页的新手。我已经确定了服务器上的一个JS函数，我需要跟踪其I/O。这是一个模糊的加密函数，我需要知道它的输入值和输出值。我怎么才能做到这一点呢？
到目前为止，我已经在firebug中打开了网页，确定了函数被调用的位置，然后设置了一个断点。但是，当我刷新页面并清除缓存时，浏览器会忽略断点，并加载页面，就好像页面上没有断点一样。
浏览 4提问于2013-11-21得票数 0
我使用的角度JS应用程序和服务抓取抓取时，他们访问。更改是不可避免的，因此某些页面将永久移动(重定向301)。
例如：
www.domain.com/#!/about-us
更改为
www.domain.com/#!/about-domain
正常情况下，可以在服务器上或使用mod_rewrite进行重定向。什么是角JS的最佳解决方案，这样旧页面(/about-us)在SERP中的页面排名可以传递到新页面(/about-domain)。
然而，使用laravel和htaccess重定向的尝试失败了，因为服务器不接受“#”和该符号以外的任何内容。
问什么是最佳的方式重定向301，角JS永久移动页
浏览 0提问于2015-06-04得票数 4
当一个网页抛出一个“潜在的危险脚本”错误时，我正在尝试抓取它。每次我这样做，我得到一个服务器500，但我可以抓取一个正常的，可操作的页面。有没有一种方法可以在网页抛出错误的时候抓取它？
谢谢
浏览 1提问于2009-04-29得票数 0
回答已采纳
1回答
有人能帮我吗？
我正在尝试使用Scrapy来收集搜索关键字的结果(例如，朝鲜)。当我使用搜索栏时，我得到了一个结果列表，但随后试图根据结果页面的url ()用Scrapy抓取这些结果似乎行不通。这通常会让我暂停一下。有没有办法解决这个问题？
如果我试图抓取整个页面的搜索结果，使用顶部的。页面看起来像这样：
但是当我回到它的时候：
我不知道why....Huge是怎么回事，感谢任何能帮上忙的人！
浏览 0提问于2020-03-03得票数 0
我正在使用scrapy/spyder来构建我的爬虫，也使用BeautifulSoup ..我一直在做一个爬虫程序，我相信我们在抓取的几个单独的页面上，我们已经达到了预期的效果，所以我的下一个挑战是抓取相同的站点，但只抓取特定于高级类别的页面。 我尝试过的唯一一件事就是使用allowed_domain和start_urls，但当我这样做的时候，它确实击中了它找到的每个页面，我们想要控制我们抓取的页面，这样我们就有了一个干净的信息列表。 我知道在每个页面上都有一些链接，这些链接会把你带到你所在的页面之外，也可能会出现在网站的其他地方。但是，我想要做的是只关注每个类别中的几个页面。 # al
浏览 5提问于2019-04-23得票数 0
1回答
我正在尝试抓取这个页面：
它总共列出了55种产品，一旦页面加载，只有24种产品列出。但是，div包含所有55种产品的列表。我试着像这样使用scrappy来解决这个问题：
def parse(self, response):
print("in herre")
self.product_url = response.xpath('//div[@class = "collection-grid js-filter-grid"]//a/@href').getall()
print(len(self.p
浏览 15提问于2019-08-17得票数 0
1回答
我使用request.js和cheerio.js来抓取一个受密码保护的网站。
是否有可能编辑响应uri，以便我可以刮除被重定向到的页面之外的另一个页面？
浏览 10提问于2015-08-01得票数 0
回答已采纳
1回答
Facebook图像共享问题
、、、、
可能重复：
我有一个名叫IdiotsTube的网站，我在上面嵌入了youtube的视频。每当有人在facebook上分享某个视频页面的链接。它寻找一个图像，我如何添加一个自定义的图像到它。
比如，我可以在页面的某个地方隐藏图像，或者在元数据上添加一些内容，然后facebook也会抓取该图像。
基本上，我面临的问题是，facebook抓取的图像是不可靠的
就像有人分享这个页面：
那么facebook抓取的图像不是我想要的图像。
谢谢:)
浏览 0提问于2011-05-10得票数 0
回答已采纳
4回答
我有一个卷曲页面抓取与卷曲，并希望抓住所有的链接与一定的id。据我所知，最好的方法是使用dom和xpath。下面的代码抓取了大量的url，但删除了其中的许多，并抓取了不是url的文本。
$curl_scraped_page是用卷曲抓取的页面。
$dom = new DOMDocument();
@$dom->loadHTML($curl_scraped_page);
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
我在正确的轨道上吗？我只需要弄乱"/html/b
浏览 0提问于2011-03-25得票数 2
我希望加载一个页面，抓取元素的文本内容，存储它，在页面上执行一个操作，然后再次抓取值并检查它是否发生了变化。 除了存储元素的值之外，我知道如何做任何事情。 这是不是有可能是Cypress，或者我必须使用普通的JS来完成它？
浏览 18提问于2021-08-25得票数 0
回答已采纳
1回答
我正在尝试从https://www.ta.com/portfolio/business-services中使用scrapy抓取数据，但是响应为空。我正在寻找抓取href在div.tiles js-portfolio-tiles中使用代码response.css("div.tiles.js-portfolio-tiles a::attr(href)").extract()我认为这与之前出现的::before有关，但可能不是。如何解压这个文件？website HTML
浏览 10提问于2020-01-17得票数 0
回答已采纳
1回答
我正在尝试使用JSoup抓取以下页面：
但在浏览页面之前，我想将“过去的游戏”的值更改为5，并选择“所有玩家”而不是“顶级玩家”。
我已经能够用JSoup毫无问题地抓取很多页面，但是在抓取之前，我很难找到任何关于如何更改页面上的值的信息。我做了很多谷歌搜索，但似乎没有返回我想要的东西。
有没有人能告诉我如何做到这一点，或者甚至给出我正在尝试做的事情的适当术语？
以下是抓取代码的要点，但我不知道如何在实际抓取之前更新页面：
String URL = "https://basketballmonster.com/PlayerRankings.aspx";
try
浏览 2提问于2018-02-17得票数 1
2回答
流星路线，Pub/Sub
、、、、
我试图发布一份声明，只发布作者(OP)的个人资料化身。我正在考虑抓取页面的_id。从那一页，我将抓取作者的_id userId，并试图显示个人资料。
然而，我一直非常不成功，目前，我正在使用以下内容。发布每个用户的个人资料化身。
Publications.js
//Need to filter this to show only OP.
Meteor.publish("userPostAvatar", function() {
return Meteor.users.find( {} ,
{
fields: {'profile.avata
浏览 4提问于2015-03-13得票数 0
回答已采纳
我有一个从this site抓取文本数据并将其存储在JSON文件中的函数。这个功能只抓取这个网站的第一页，但我想点击或“转到”每个网址(有10个页面)，并从每个页面抓取文本数据： await page.goto('http://quotes.toscrape.com/page/1/')
//grab quote data
const quotes = await page.evaluate(() => {
const grabFromDiv = (div, selector) => Array.from(div
浏览 22提问于2020-04-29得票数 0
我正在尝试从文件查找页面()中抓取Github中的所有文件路径。
漂亮的Soup 4无法抓取包装文件路径列表的<tbody class="js-tree-finder-results js-navigation-container js-active-navigation-container">元素。我想这是b/c bs4无法抓取动态内容，所以我试着等待所有元素装载Selenium：
driver = webdriver.PhantomJS()
driver.get("https://github.com/chrisspen/weka/find/master
浏览 4提问于2017-10-04得票数 0
我正在尝试用Selenium抓取，但我需要通过移动到网站的末尾来加载页面的所有内容。但是当我执行: driver.execute_script("window.scrollTo(0，document.body.scrollHeight);")时，程序什么也不做。我想知道是不是因为我抓取的页面有一个个性化的滚动条。 ?
浏览 49提问于2021-07-16得票数 0
我使用nutch 1.4并抓取了一个网站。我成功地抓取了网站，所有的页面都被分成了几个部分。我将所有片段合并为一个片段，然后使用readseg命令获取所有爬行页面的文本版本。现在我需要找出页面的URL和存储在该页面中的元数据。我不知道该使用哪个命令，或者我需要做一些不同的事情。
我在google上做了很多努力，有些人说你必须为它写一个单独的插件。谁能告诉我。
非常感谢:) :)
浏览 0提问于2012-03-19得票数 0
回答已采纳
我有一个普遍的问题:通过Ajax加载数据完全比加载整个页面来抓取数据更快，而不管页面大小(外部元素，如图像，css文件，js文件...)？
浏览 1提问于2011-05-10得票数 1
回答已采纳
我目前正在使用一个网站上的支付处理器，也有一个备用支付处理器与另一家公司的条纹。按照斯利普的指导，我在网站的每个页面上都包含了js.stripe.com脚本，以防止欺诈。我还使用php sdk进行后端支付处理，并使用elements.js脚本抓取并发送卡数据到后端处理。 谁能帮助我如何设置检查，以验证条纹帐户是活跃的，并接受与php付款，这样我的系统将知道加载条纹，如果它是活跃的和/或后备到我的备用支付处理器，如果出于某种原因，条纹帐户被暂停？
浏览 14提问于2020-12-01得票数 0
回答已采纳
1回答
从呈现的网站抓取时出现的问题
、、、、
我正试图从这个网站上刮掉一件衣服的价格：
这是要抓取的页面的。
使用Scrapy shell：
response.xpath('//span[@data-id="current-price"]/text()').extract()
不返回任何内容，即使在呈现网站之后也是如此。你知道怎么从网站上抓取这段价格信息吗？
谢谢!
浏览 13提问于2017-02-24得票数 0
回答已采纳
2回答
我正在使用nutch 1.3来抓取一个网站。我想得到一个urls爬行的列表，以及来自一个页面的urls。
我获得了使用readdb命令抓取的urls列表。
bin/nutch readdb crawl/crawldb -dump file
有没有办法通过读取crawldb或linkdb来找出页面上的urls？
在org.apache.nutch.parse.html.HtmlParser中，我看到了outlinks数组，我想知道是否有从命令行访问它的快速方法。
浏览 2提问于2011-09-15得票数 10
回答已采纳
2回答
我正在处理一个包含两个框架的页面。每个框架调用一个页面，该页面随后在脚本标记中调用相同的javascript文件。看起来有时浏览器在另一个帧调用它的时候已经缓存了js文件，从而从缓存中抓取它。但是，似乎有时它会下载两个副本，每个帧一个。我正在尝试弄清楚是否值得从父页面调用一次脚本，并让每个框架的页面以这种方式访问它。那么，这仅仅是浏览器下载js文件的速度有多快的问题，如果另一个帧将从缓存中抓取它的话？主要浏览器的标准协议是什么？
谢谢你的帮助！
浏览 1提问于2011-08-09得票数 0
回答已采纳
2回答
阅读谷歌页面上的GWT引导带，我有一些问题。( )
假设:大多数浏览器最多允许两个同时连接来获取资源。
HTML页面：
<html> <body onload='alert("w00t!")'> <img src='bigImageZero.jpg'></img> <script source='externalScriptZero.js'></script> <img src='bigImageOne.jpg&
浏览 4提问于2010-07-13得票数 3
在我的HTML索引页面上，我使用了一个弹出javascript代码，其内容如下
<li> <font color ="#000"> » </font> <font color ="#ccc">
<a href="javascript: void(0)" onClick="newWindow('mypage.php','nwin','1200','850','resizable=no,scrollb
浏览 3提问于2013-12-18得票数 1
回答已采纳
有人能告诉我如何从不属于我的Google Sheets页面中抓取数据吗？使用API不是一个选项。
我看到了很多关于如何使用Sheet来存储web抓取数据的教程，但却没有关于如何从Sheets页面获取信息的教程
希望我能用node.js来做这件事。有谁知道最好的方法吗？
浏览 1提问于2020-09-22得票数 1
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。
<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pager="automatic">
::before
<li class="pager__item"
浏览 1提问于2019-10-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
