我想从有隐藏api的网站上抓取数据，但sendinf表单数据也不起作用

文章/答案/技术大牛

发布

1回答

web-scraping、scrapy

我想从这个网站抓取数据，其中有隐藏的api，我想从中提取数据，但发送表单数据也不能在抓取工作。这是网站的主url 'https://www.priceline.com/relax/at/478502/from/20220523&#x

浏览 33提问于2021-10-27得票数 0

回答已采纳

4回答

使用Scrapy进行Python数据抓取

python、python-2.7、web-scraping、scrapy

我想从一个网站上有TextFields，按钮等抓取数据。我的要求是填写文本字段并提交表单以获得结果，然后从结果页面中抓取数据点。(编辑) 我的要求是从ComboBoxes中选择值并单击search按钮，然后从结果页面中抓取数据

浏览 1提问于2013-05-28得票数 8

回答已采纳

3回答

如何使用Beautiful从python代码中获得javascript函数的结果？

javascript、jquery、python、html、web-scraping

我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的

浏览 7提问于2014-04-06得票数 1

回答已采纳

1回答

无法从具有不同选项卡和日期的网站中抓取数据

angularjs、scrape

我无法从下面的网站上获取数据。有没有任何方法，我们可以抓取数据的不同选项卡在网站上的一些天。在R上也尝试了一些抓取，但似乎不起作用，因为数据范围需要更改，所以不确定如何解决？

浏览 11提问于2019-07-05得票数 1

回答已采纳

1回答

无法使用POST获取页面

php、post

我在一个政府网站上：，当我点击Select (如图中蓝色矩形所示)时，它会获取一些数据。我想从我的PHP程序中完成这个“抓取”。我已经使用Firebug抓取了帖子数据。但它未能获得相同的数据。我试着删除参数等，但都不起作用。该站点返回错误“对不起，本站点遇到严重问题，请尝试重新加载页面或联系站长。” 有

浏览 0提问于2013-04-08得票数 0

2回答

有兴趣获取XBOX好友列表

php、windows、login、live、xbox

我想获得某个游戏卡()的XBOX好友列表，并将其显示在我的网站的小工具中。任何帮助都将不胜感激！谢谢

浏览 0提问于2009-10-20得票数 1

回答已采纳

1回答

将筛选器/搜索表链接到高级图表

javascript、highcharts、html-table、tableau-api

我有兴趣做一些类似于下面的Tableau示例的事情，但是使用一个高图表、多系列股票图表：最后，我还想把图形添加到桌面上，例如，根据盈利能力，净收入可能是一个略带红色或绿色的图标。任何建议/例子都是非常感谢的！

浏览 2提问于2019-12-29得票数 1

回答已采纳

4回答

有没有包含NFL橄榄球数据的包？

我遇到过R baseball包，它基本上包含了可用于幻想分析的职业棒球数据的整个历史范围。有没有人知道NFL的橄榄球数据是否也有类似的情况？我知道以前的一些答案提到了像www.pro- format reference.com这样的网站，这些网站提供了每个球员的数据，但我正在寻找聚合的数据帧格式的东西。

浏览 0提问于2012-06-12得票数 5

2回答

查找令牌un WHMCS

whmcs

我正在WHMCS中创建一个模块，我需要令牌标识符来在内部向WHMCS发送一个请求，一个页面。但我已经尝试了会话，但这不是令牌：你知道如何在模块中获取当前的WHMCS令牌以便在系统中使用吗？

浏览 1提问于2015-01-28得票数 0

1回答

在R中抓取php生成的html表

php、html、r、web-scraping

我想从这个网站上抓取数据，左边有一个网页表单，它将参数传递给一个php页面，然后输出结果html表，并放在同一页面的一个框架中。从第一个下拉列表中有107个城市，从第二个12个月开始，所以我应该手动运行1.284个查询来收集所需的数据。对于自动化这个过程有什么建议吗？我使用了R和rvest库来抓取静态html表，但是因为这些表是由表单参数生成的，

浏览 14提问于2020-05-07得票数 0

回答已采纳

2回答

在我的应用程序中显示来自其他站点的数据

android、web

我是编程新手，我想把这个网站的数据显示到我的活动中。简单的文本视图，只有名字和数字。问题是我不知道如何从这个网站获取这些信息。当我用Firefox打开它并试图检查代码时，我找不到任何可以从中读取它的变量，如果我说得正确的话！？:) 谁能给我指个方向？这是网页：

浏览 37提问于2018-06-09得票数 -2

回答已采纳

1回答

将wordpress博客转移到mysql数据库

php、android、mysql、wordpress、flutter

我有一个flutter应用程序，我想从我的网站上获取我的wordpress博客。wordpress安装在一个托管平台( cpanel )上，wordpress的所有数据都在该cpanel的mysql上。但是我无法理解mysql中的数据。在mysql中，评论、照片、封面存储在不同的表中。我不能在

浏览 16提问于2021-03-05得票数 0

1回答

如何从请求到requests_html提供会话？

python、python-requests、python-requests-html

我想从一个网站上抓取登录数据。我使用请求库登录，但我没有从那里获得js数据。所以我也使用了requests_html来获取js数据，但是现在我不能将会话从request提供给request_html，也不能让活动会话去抓取。我知道有"selenium“，但当我使用它时，页面上总是有一个recaptch

浏览 3提问于2020-08-10得票数 2

1回答

安全抓取json数据

json

所以我正在使用这个API，它允许我使用json和javascript从数据库中抓取数据并显示在我的网站上。我正在尝试弄清楚如何保护我的API密钥。他们说您可以使用java或C#进行调用，然后使用javascript显示json数据？所以基本上我的想法是我使用一种单独的脚本语言(c#或java，

浏览 1提问于2015-10-18得票数 0

1回答

从网站中提取语义数据的可扩展解决方案？

web-scraping、nlp、html-parsing、semantic-web

假设我的磁盘上有很多(相当大的)网站，这些网站是从Common Crawl抓取或抓取的。我没有关于HTML结构的先验知识，假设每个页面的结构不同(通常是这样)。我想从它们中提取一些语义信息(预先知道)，比如带有元数据(日期、作者、标签、评论等)的文章/帖子。一种简单的方法是为每个网站编写一个简单的解析器，考虑到高质量的</em

浏览 11提问于2017-01-11得票数 0

1回答

使用urllib而不是twitter api爬行twitter

python、twitter、urllib、web-crawler

我想从推特上抓取数据。我正在使用twitter api，但受到速率限制的限制，它运行得非常慢。或者，我可以通过直接解析url来绕过twitter api，例如。urllib包。但这就是我所知道的。你们能提供更多关于如何在不使用twitter api的情况下从twitter抓取时间线和跟踪数据<

浏览 0提问于2013-06-22得票数 2

回答已采纳

2回答

使用phpMYAdmin和Joomla3的mySQL数据库

mysql、joomla3.0

我有一个用Php myAdmin建立的数据库，我想把它连接到我在joomla3网站上的一个表单。但当我在表单上填写详细信息时，所有数据都会进入默认的joomla3数据库，而不是我的数据库。有人对此有什么想法吗？我需要我的

浏览 0提问于2013-11-07得票数 0

3回答

在web应用程序中模拟用户行为的最佳实践

c#、.net

我想知道在编写模拟用户与其他web应用程序交互的应用程序时，是否有任何最佳实践或常见模式。我很感谢你的帮助。注意:我不需要专门的自动化测试套件。我试图实现的是登录到一

浏览 0提问于2012-08-02得票数 1

2回答

如何在drupal中存储简单的、时间依赖的、重复的数据类型

entities

随着时间的推移，我有兴趣收集Drupal的简单数据系列。例如，假设用户希望每天输入一个特定项目的支出金额，然后随着时间的推移对其进行跟踪。它会将信息记录为节点，甚至是实体，就像过度杀戮一样。什么是存储这种性质的数据的好方法？

浏览 0提问于2013-05-30得票数 0

回答已采纳

5回答

谷歌什么时候会重新抓取一个网站？

web-crawler、googlebot

谷歌什么时候会重新抓取一个网站？为什么Google在Cache中有同一页面的两个版本？？ forum.portal.edu.ro/index.php?

浏览 14提问于2009-08-04得票数 0

回答已采纳

点击加载更多