1回答
我刚刚开始与网络抓取，并认为我正在取得良好的进展，使用下面的脚本和美丽的汤解析简单的雅虎财务数据。下面的脚本运行得很好，但它只返回了100行，尽管我请求了一年的值。
浏览 1提问于2021-03-14得票数 0
2回答
用PHP抓取网页
、、、、
我有一个网页，我想要提取所有跨度和锚标签值从一个表中的ticker。像这个LPCL，11.06等，我尝试了curl和php dom文档。它不起作用。
浏览 1提问于2014-01-23得票数 0
3回答
我目前正在开发一个网络爬虫在PHP中，它仍然是一个简单的，但我想知道的是，我怎样才能使我的爬虫在后台爬行页面，而不使用我的带宽，我必须使用一些cron作业，我想它自动存储在数据库中的数据。php ini_set('max_execution_time*>(.*)<\/a>"
浏览 2提问于2015-08-06得票数 0
我已经抓取了一个网页，以收集网页上的所有网址链接。终于让它工作了，但回头看了一下说明，我需要确保URL实际上是链接，这意味着状态代码200。那么有没有办法只过滤200个呢?我是Python的新手。
浏览 25提问于2019-05-11得票数 0
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
浏览 0提问于2013-04-12得票数 0
回答已采纳
现在的情况是:这个项目还没有启动，但是我们最终有很多种类和一个大的过滤系统(颜色，品牌，尺寸，尺寸，型号，材料，…)。https://example.com/nike-shoes-sneaker-yellow-size-11-leather
这个页面可能有两个产品要显示，没有唯一的文本，没有过滤条(已经过滤).该产品也将不会索引(太多-限制robots.txt)。
浏览 0提问于2019-03-19得票数 2
3回答
我有一个网页，即php页面，它是一个表格。我想把这个页面带到java中，即在java页面中，我想使用.php页面的网址显示此表单。这是可能的吗?如果是的话，是如何实现的？有问题的澄清：
我有一个java网页。在这个网页上，我想要一个Iframe或任何类似的东西，它将显示一个使用php url的php表单，并执行保存操作。
浏览 1提问于2012-07-02得票数 0
回答已采纳
1回答
用Crawler4j抓取PDF
、、、、
我目前使用crawler4j抓取一个网站，并返回网页的网址和该网页的父网页的网址。我使用的是基本的爬虫，这是工作良好，除了它没有返回的pdf的。我知道它爬行的pdf的，因为我已经检查了它爬行前添加的过滤器和pdf的显示。PDF似乎在进入时消失/跳过我不知道为什么它会这样做。有人能帮我吗？非常感谢！谢谢
浏览 4提问于2014-08-14得票数 4
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
3回答
此数据不是以任何标准格式(XML、RSS等)提供的并且必须从HTML中抓取。我需要抓取这些数据，并将其存储在数据库中以备将来参考。理想情况下，抓取例程将在循环的基础上运行，并且只将新记录存储在数据库中。对于我来说，应该有一种方法可以在这些网站上轻松地检测到旧记录中的新记录。有什么建议吗？
浏览 0提问于2012-09-04得票数 0
1回答
php wp_title( '|', true, 'right' ); ?></title>可以通过wpseo_
浏览 0提问于2018-10-01得票数 0
回答已采纳
我想从一个网站抓取RSS提要内容，并使用不同的过滤选项将其显示在我的网站中。
有没有人可以放一个php脚本，从那里抓取内容并显示
浏览 0提问于2010-10-18得票数 5
回答已采纳
1回答
我正在使用Goutte/Symfony2 2抓取网页，而我的过滤器也有问题，
我在$msg中有爬虫(web的一部分)，如果我在$msg内部打印一个带有类.mola的div，为什么要过滤$msg从.mola
浏览 2提问于2014-11-28得票数 0
回答已采纳
2回答
我正在抓取一些网页的一些特定部分的网页。我使用php，curl和xpath来获取页面的一部分。但是人们建议我应该使用XHTML文档的namespaces才能使XPATHs工作。实际上，我正在使用Tidy将网页转换为XHTML。我真的需要名称空间吗?如果需要，在哪种情况下需要，因为在从wikipedia中抓取内容时，相同的代码without namespaces工作得很好。此外，即使在修改我的php代码以包含namespaces之后，该代码也不适用于某些urls。你可以看
浏览 0提问于2011-05-31得票数 0
回答已采纳
1回答
我有PHP脚本生成的网址到这个视频文件。此url在我的HTML中用作Windows media player的嵌入式代码中的mediasource。一切都很好。但指向此文件的链接是公开的。我能用php解决这个问题吗？
浏览 0提问于2011-08-13得票数 1
我通过php cURL抓取/提取了一个远程网页。为此，我必须查看php脚本的页面源代码。问题是在远程页面中，一些文本在<pre></pre>标记内。因此，我可以看到换行或其他html实体代码，我想要抓取该网页的一部分。
例如，如果您看到的页面源代码，就可以看到TODAY'S SHARE MARKET下的数据显示在<pre></pre>标记下。
浏览 3提问于2017-03-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
