腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
简单
PHP
web
爬虫
返回
简单
的
HTML错误
、
我有一个
PHP
脚本,它在网页上返回链接。我得到了500个内部错误,这就是我
的
服务器日志所说
的
。我让我
的
朋友在他
的
服务器上尝试相同
的
代码,它看起来运行正常。有人能帮我调试一下我
的
问题吗?
PHP
警告: /hermes/bosweb/web066/b669/ipg.streamversetv/simple_html_dom.
php
第1081行中
的
allow_url
浏览 4
提问于2013-09-27
得票数 0
2
回答
基于
PHP
的
Web
爬虫
或基于JAVA
的
Web
爬虫
、
、
我对基于
PHP
的
网络
爬虫
有些怀疑,它能像基于java线程
的
爬虫
一样运行吗?我之所以问这个问题,是因为在java中,线程可以一次又一次地执行,我不认为
PHP
有类似线程
的
功能,你们能说一下,哪个网络
爬虫
更能充分利用吗?基于
PHP
的
爬虫
还是基于Java
的
爬虫
浏览 1
提问于2010-07-27
得票数 0
回答已采纳
3
回答
将数据从
PHP
脚本传递到Python Web Crawler
、
、
、
、
我有一个python
爬虫
,每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问
的
用户界面,并显示
爬虫
获得
的
数据。我将使用
php
/html作为接口。无论如何,用户界面需要某种类型
的
按钮来触发
爬虫
程序立即抓取特定
的
网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从
php
脚本发送到正在运行
的
python脚本?然后我在考虑使用一个共享文件,
php
在其中写入数据,py
浏览 1
提问于2011-03-31
得票数 1
2
回答
等待
爬虫
和作业作为Glue作业触发器
的
依赖项
我正在努力找出如何编排一个具有
爬虫
和胶水作业
的
上游依赖
的
作业。从另一个问题来看,
爬虫
似乎会发出CloudWatch事件。
爬虫
是否有可能通过向lambda发送事件来假装是一项工作?
浏览 1
提问于2018-12-05
得票数 4
回答已采纳
1
回答
在清理urls后避免重复内容
的
mod_rewrite
、
、
我有一些典型
的
mod_rewrite规则,可以让urls更漂亮但不知何故,谷歌也设法获得了index.
php
?views=版本,所以现在,在谷歌搜索结果中,两个结果都会显示,一个是带有mod_rewrite url
的
那个,另一个是“常规”
的
。这对seo来说是不好
的
,因为内容重复,我知道我可以使用规范标记,但我更喜欢在index.
php
被访问而没有被重写规则调用<
浏览 0
提问于2012-06-07
得票数 0
1
回答
如何有效地运行python web
爬虫
、
、
、
我有一个python
爬虫
,它获取信息并将其放入SQL中。现在我也有了
php
页面,它从SQL读取这个信息,并表示它。问题是:为了让
爬虫
程序工作,我
的
电脑必须全天候工作。我有一台
简单
的
家用电脑--所以这是个问题。是否有一种不同
的
方式运行网络
爬虫
?还是我必须在我
的
电脑上运行?
浏览 1
提问于2015-12-08
得票数 0
回答已采纳
1
回答
php
中
的
简单
爬虫
回显链接
我想用
php
做一个
简单
的
爬虫
,它可以让我获取网页中
的
链接,回显它们
的
url,然后爬行到其他页面,在某个特定
的
域名下做同样
的
事情。这里有必要使用cURL吗?Also..how会指定
爬虫
的
深度。到目前为止,我有这样
的
想法:$dom->loadHTML($html); foreach( $dom->getElementsByTagNam
浏览 1
提问于2011-07-06
得票数 0
回答已采纳
1
回答
Crawler将参数从url添加到链接
、
、
、
、
我尝试了两种不同
的
网络
爬虫
(Sistrix和)。这两个
爬虫
都会报告有关/和/?katID=12等URL
的
重复内容
的
错误。如果我使用浏览器或wget,我会看到想要
的
到/
的
简单
html链接。 我做错什么了
浏览 5
提问于2013-04-02
得票数 2
回答已采纳
1
回答
阻止谷歌翻译翻译部分
的
<head>部分?
、
、
有没有可能告诉谷歌翻译不翻译网站
的
一部分,在这种情况下,是<head>部分
的
一部分?content="Article by John Doe, some brand name here" name="description" />在这个例子中,John Doe和一些真实
的
品牌名称可能会被“翻译”成其他东西,通常是错误
的
翻译。根据
的
说法,html中
的
环绕文本( <span cl
浏览 0
提问于2016-02-06
得票数 5
1
回答
使用
php
检查AngularJS网页上是否存在某个字符串。
、
、
我看到这样
的
答案:检查网页中是否存在字符串-- ,它起作用了 但是如何在使用Angularjs
的
外部网页上检查字符串呢?是否仍然可以使用
php
curl或其他语言进行搜索。
浏览 17
提问于2017-02-24
得票数 1
5
回答
URL中
的
^符号是什么意思?
、
、
URL中
的
^符号是什么意思?http://www.example.com/example.asp?x7=3^^^^^select%20col1,col2%20from%20table%20where%20recordid%3E=20^^^^^ 此URL在浏览器中键入时工作正常,但我
的
爬虫
程序无法检索此
浏览 1
提问于2010-02-25
得票数 5
回答已采纳
2
回答
蜘蛛会使用哪个链接来搜索列表,静态链接还是RewriteRule url?
、
、
、
、
我是Apache重定向
的
新手,但我已经学会了如何处理由
PHP
在我
的
网站上生成
的
干净urls,它们工作得很好。 我一直在研究这个问题,似乎找不到一个
简单
直接
的
答案。我
的
问题是,
爬虫
/蜘蛛/机器人会使用
php
在我
的
网站上显示
的
链接: example.com\Shoes\Running\Men,还是会使用RewriteRule
的
url:
php
作为最
浏览 0
提问于2013-03-15
得票数 1
回答已采纳
1
回答
什么是"Parse error: example2.
php
中
的
语法错误,意外Parse= '>‘“
、
我不太擅长
php
,但我试图学习
爬虫
的
功能。我试着把我学到
的
关于
爬虫
的
东西应用到这个网站中解析错误:第7行上example2.
php
中
的
语法错误,意外Parse> '>‘<?
php
$target_url = “local
浏览 0
提问于2013-05-03
得票数 0
3
回答
用
PHP
解释JavaScript
、
、
、
、
我希望能够运行JavaScript并使用
PHP
获得结果,并且想知道是否有一个
PHP
库允许我解析它。我
的
第一个想法是使用node.js,但由于node.js可以访问套接字、文件和其他东西,我想我更愿意避免这样做。
的
基本原理:--我正在用进行屏幕抓取,并且遇到了许多情况,其中
的
数据是由JavaScript在前端生成
的
,我想避免编写专门
的
过滤函数,以便在每个
案例
的
基础上对JavaScript进行操作,因为这需要很多时间更一般
的</e
浏览 6
提问于2010-12-02
得票数 15
回答已采纳
1
回答
使用
php
爬虫
将数据索引到ElasticSearch
、
、
我想索引爬行网站到ElasticSearch,但我不知道,我可以索引爬行信息到ElasticSearch与
php
爬虫
。我知道Apache可以将爬行网站索引到ElasticSearch,但是我对
php
爬虫
一无所知!我可以在
php
web应用程
浏览 4
提问于2013-05-12
得票数 3
1
回答
提供一个
爬虫
纯html,而不是触发器ajax
、
、
如果我
的
站点正在爬行,我应该使用什么
PHP
方法,这样虽然不会触发ajax,但我
的
内容将被传输?目标:为
爬虫
提供
简单
的
html.我核对了建议
的
答案我还是迷路了。
浏览 2
提问于2013-07-18
得票数 0
3
回答
可扩展/可定制
的
Web爬行引擎/框架/库?
、
、
我有一个相对
简单
的
案例
。我基本上想存储各种网站之间
的
链接数据,不想限制域名。我知道我可以使用一些http客户端库编写自己
的
爬虫
程序,但我觉得我会做一些不必要
的
工作--确保页面不会被多次检查,弄清楚如何读取和使用robots.txt文件,甚至可能尝试使其并发和分布式,我确信还有很多其他我还没有想到
的
事情因此,我想要一个网络爬行框架,它可以处理这些事情,同时允许我决定如何处理响应(在我
的
例子中,只提取链接并存储它们)。大多数
爬虫<
浏览 0
提问于2009-08-20
得票数 2
回答已采纳
1
回答
编写
PHP
脚本,打开网站页面并将页面内容存储在变量中
、
我一直在建立一个搜索引擎,但现在我需要一个网页
爬虫
,在
PHP
中,可以抓取我
的
网站
的
内容。我不知道网络
爬虫
/蜘蛛是否是正确
的
词,但我希望并想知道是否有人能帮助我编写一个
简单
的
PHP
脚本,该脚本打开以.
php
或.html结尾
的
域中
的
所有页面,并将内容保存在页面中,并将其存储在变量中作为原始文本如果有人知道一个好
的
开源脚本,或者可以帮助我编写一个,请分享或这样
浏览 2
提问于2013-03-07
得票数 2
回答已采纳
4
回答
如何用
php
编写这个
爬虫
?
、
、
、
我需要创建一个
php
脚本。当我向这个
php
脚本发送一个blogpost链接时,这个网页就会被爬行,并将带有标题页
的
第一个图像保存在我
的
服务器上。对于这个
爬虫
,我必须使用什么函数?
浏览 5
提问于2010-09-28
得票数 2
回答已采纳
2
回答
浏览器限制会影响网页
爬虫
吗?
、
、
我正在使用普通模式和不推荐
的
浏览器模式创建站点,如果有人进入www.mysite.com,他
的
用户代理就会出现这样
的
情况: if (Request.Browser.IsMobileDeviceRequest.Browser.Version) < 9) return Redirect("/h"); return View(); 问题
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
简单python爬虫案例
Scrapy网络爬虫框架实际案例讲解,Python爬虫原来如此简单!
PHP爬虫
php爬虫
简单的爬虫
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券