1回答
答案是完美的，但它引出了另一个问题，那就是我怎么知道这个API是可用的，而抓取页面是完全不必要的？我可以在检查元素时找到这些信息吗？ 谢谢你的帮助。
浏览 22提问于2019-10-11得票数 0
回答已采纳
所以我需要从一个网站获取一些数据，问题是他们没有一个公共的api，所以我想下载html文件，然后搜索我想要的数据。我只是不确定是否有可能这样做，我认为这应该是正确的？流程是这样的我不确定如何以字符串的形式抓取页面，因为页面有一个类似于表的数据，他们实际上有一个xml文件的公共api，但它排除了我想要的数据，这就是我想要的列
我如何
浏览 2提问于2019-08-28得票数 0
我一直在尝试使用PHP Curl获取facebook页面的内容。但是，即使我从浏览器登录到facebook，CUR会话返回的页面也会请求登录id和密码。我想这是一些我不知道的公鸡的问题。请帮助如何发送存储在我的浏览器中的cookie的CURL请求。
浏览 4提问于2011-05-18得票数 0
之前在PGA网站的页面上发布了一篇关于刮表的文章。总之，由于这个页面使用javascript呈现页面和表的方式，所以领导板表很难抓取。我可以检查并在标记中看到有一个包含有用信息的对象global.leaderboardConfig：是否可以在R中以列表的形式得到这个对象？我能够使用xml2::read_html('https://www.pgatour.com/leaderboard.html') %>% html_nodes('
浏览 3提问于2021-04-16得票数 6
回答已采纳
1回答
在我的web应用程序中，我把CSRFToken放在HTML中，刮掉页面以找到它，然后用它从角度发送我的登录请求，作为我的帖子中的请求头。因为我假设我需要做的是首先从移动应用程序登录，存储我的auth_token，并在随后的API调用中使用它。
这里的问题..。我是否需要在我的/login页面上抓取CSRF令牌，使用它向我的服务器发送登录请求，首先获取auth令牌？从移动应用程序中抓取HTML以获得CSRF令牌，而不是REST
浏览 4提问于2015-01-13得票数 1
回答已采纳
我正在用php开发一个脚本来管理我的rapidshare帐户(用于学习目的)，我想知道我们如何远程登录并获得我网站上的帐户详细信息，api所做的事情，如流量离开，到期日期等详细信息。
浏览 6提问于2009-06-19得票数 1
回答已采纳
1回答
我有一个ruby on rails项目，在那里我必须制作一个新闻页面，但我不想只是将文章放在数据库中(这将花费太长时间)，无论如何，您可以从另一个网站提取信息，并将其显示在您自己的网站上。
浏览 0提问于2013-06-27得票数 0
回答已采纳
4回答
我正在使用was for windows爬行维基百科，我正在浏览这个工具中的所有选项，以找到在特定时间段(例如从2005年到现在)下载维基百科页面的选项。
有没有人知道如何在特定的时间段内抓取网站？
浏览 0提问于2011-09-06得票数 0
回答已采纳
我希望做一个简单的chrome扩展，它覆盖了新的选项卡页面，以显示从几个网站收集的一些简单数据。我想知道是否有可能在基本的JS或chrome API中进行web抓取？任何信息或指导都将非常感谢，我一直在努力做这个主题的研究，但没有找到任何最近或明确的答案。
谢谢你的帮忙!
浏览 2提问于2020-07-20得票数 0
目前正在尝试找出如何检查非常大的Instagram帐户(10M+追随者)是否在关注30-4万用户列表。抓取所有追随者似乎不是一个非常可行的解决方案，因为Instagram的速率限制为每10k个请求(所以很自然，抓取5000-6000万个用户名需要很长时间)。Instagram应用程序有一个搜索栏功能，显然可以让用户检查账户是否关注某人；然而，我不完全确定如何在网络上复制这一功能。有谁知道通过类似Selenium的机器人和/或
浏览 1提问于2020-03-09得票数 0
这个主题有上百个线程，但是由于facebook现在有了新的搜索API，我正在创建另一个只连接到新API的线程。我知道在之前不可能得到页面迷的名单facebook和他的新搜索API是否为开发者带来了新的东西，可以通过http/json/oauth获得粉丝列表？(我在他们的开发/网站上什么都没注意到)刮擦是可能的
浏览 3提问于2013-06-17得票数 0
回答已采纳
1回答
我在Node中有一个API，主要是GET端点和一个客户端单页应用程序。
该应用程序是开放的，不需要进行身份验证，例如，您可以在booking.com中浏览酒店，而无需登录或注册。如何确保端点的安全？例如，使用基于令牌的签名或任何其他签名来信任我的客户端应用程序。
浏览 0提问于2018-06-05得票数 9
7回答
这个场景是我想从GET请求中创建两个字符串。在script.php中，它需要抓取“客户端”并创建两个变量。一个是$brand，需要从URL中抓取A或B。另一个是$id，它需要从URL中抓取12345。Location: http://a.com');if ($brand=="B") {
header('Locati
浏览 0提问于2012-05-30得票数 0
我需要从刮一个项目的形式10-K报告(即美国公司的年度报告)。我可以自由地使用Java、Perl、Python或Groovy来完成这项工作。
浏览 0提问于2009-10-28得票数 0
回答已采纳
我是设置VPN服务器(amazon )，它会将所有请求从我的服务器重定向到某些电子商务服务中的api端点，这在我的国家被阻塞了。我的配置如下所示： listen 80;location / { proxy_set_header Host $host;}
所以，只要抓取所有的东西，然后重定向到某
浏览 4提问于2022-05-16得票数 0
readStream.ReadToEnd(); readStream.Close();
}
然而，我正在尝试读取的页面有一个临时加载器页面，我如何解决这个问题，在这个页面实际加载后，它试图再次保存html？
浏览 2提问于2014-06-26得票数 0
我有一个网络应用程序，是从一个公开的Facebook页面上获取最新的帖子，并将其与帖子的背景图像一起显示。它可以在本地托管，但access_token在Chrome开发者工具中展示了它的全部光彩。这当然是不好的做法，我正在寻找安全地从服务器/外部服务请求access_token的方法。
该应用程序的要点是能够从facebook页面获取信息，而不需要从客户端请求用户登录。有没有一种更简单的方法可以直接从facebook公共页面上获取最新的帖子信息？我不完全理解为什么Faceboo
浏览 12提问于2016-11-13得票数 0
1回答
在这种情况下，我需要提供一个Oauth签名或API签名，我不确定。在这种情况下，我是否需要从我的访问令牌和Secret中生成签名？
如果没有，我可以使用我的(不是我请求许可的商家) API签名吗？编辑:此外，如果我确实需要从商家那里获得签名或凭证。那么我是否总是需要告诉他们先获取他们的api凭据？
浏览 1提问于2013-07-31得票数 3
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
