网页抓取数据php_php抓取网页_PHP网页抓取 - 腾讯云开发者社区

、

我目前正在开发一个网络爬虫在PHP中，它仍然是一个简单的，但我想知道的是，我怎样才能使我的爬虫在后台爬行页面，而不使用我的带宽，我必须使用一些cron作业，我想它自动存储在数据库中的数据。php ini_set('max_execution_time*>(.*)<

浏览 2提问于2015-08-06得票数 0

3回答

从许多不同网站上抓取数据的最好方法

、、

我希望从许多不同的地方政府网站上获取公共数据。此数据不是以任何标准格式(XML、RSS等)提供的并且必须从HTML中抓取。我需要抓取这些数据，并将其存储在数据库中以备将来参考。理想情况下，抓取例程将在循环的基础上运行，并且只将新记录存储在数据库中。对于我来说，应该有一种方法可以在这些网站上轻松地检测到旧记录中的新记录。我最大的问题是:实现这一目标的最佳方法是什么？我还知道，一些编程语言也可以更容易地解析HTML数据。我是一个具有几种

浏览 0提问于2012-09-04得票数 0

1回答

如何在web浏览器的页面源代码中查看html实体代码

、

我通过php cURL抓取/提取了一个远程网页。为此，我必须查看php脚本的页面源代码。问题是在远程页面中，一些文本在<pre></pre>标记内。因此，我可以看到换行或其他html实体代码，我想要抓取该网页的一部分。例如，如果您看到的页面源代码，就可以看到TODAY'S SHARE MARKET下的数据显示在<pre></pre>标记下。因为<pre>保留了换行符，所

浏览 3提问于2017-03-19得票数 0

1回答

是否从移动设备上的from填充设备数据内容？

、、、

我有使用ThingsBoard实时显示的设备数据。我有一个在网页上显示设备数据内容的iframe。我需要的是设备数据部分的主要内容区域。我能用iframe做到这一点吗?还是我需要调用所有单独的ThingsBoard应用程序接口来自己填充仪表板？

浏览 13提问于2019-04-27得票数 0

2回答

在MySQL中存储时间戳

、、

我从一个网页抓取数据，该网页返回以下形式的时间戳(这是一个字符串)：我如何在PHP中解释它，在MySQL数据库中存储它的最好方法是什么？

浏览 0提问于2014-12-28得票数 0

1回答

如何在屏幕抓取时使用cookie？

、

我想从PHP网页中抓取登录页面背后的数据。如何才能使我只登录一次，然后就可以访问后续页面上的数据，而不需要再次登录？

浏览 0提问于2012-05-19得票数 0

回答已采纳

2回答

用PHP抓取网页

、、、、

我有一个网页，我想要提取所有跨度和锚标签值从一个表中的ticker。像这个LPCL，11.06等，我尝试了curl和php dom文档。它不起作用。

浏览 1提问于2014-01-23得票数 0

2回答

PHP中的登录Javascript

、、、、

我一直在用PHP为一个内部应用程序创建一个网页抓取器，但是其中一个页面有一个JavaScript登录，有没有办法像往常一样自动登录来抓取数据？ (我正在使用curl登录到其他两个站点)

浏览 0提问于2010-07-23得票数 1

回答已采纳

2回答

在C#中使用超文本标记语言敏捷包获取数据时，应用程序有时会获取数据？

、

我一直在使用HTML AGILITY PACK获取一些数据，通过选择一些标签从网页中获取数据，但我有一个bug之类的问题。SpanNodes = doc.DocumentNode.SelectNodes("//div[@class='form-field wide-80 如何使用C#在浏览器中刷新网页，或者如何使用超文本标记语言敏捷包通过在web浏览器中打开网页来获取数据？....

浏览 0提问于2013-04-19得票数 0

1回答