腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
RegEx :从URL中
抓取
子域(如果有)后的域
这就是我的问题:干杯!
浏览 6
提问于2011-04-01
得票数 2
回答已采纳
2
回答
如何通过输入
域名
递归
抓取
所有站点链接?
如何在
PHP
中通过输入
域名
递归
抓取
所有站点链接?请给我一些想法。
浏览 16
提问于2014-11-12
得票数 0
4
回答
PHP
脚本执行时间可能是2周吗?
我已经创建了一个
抓取
1mio的
PHP
脚本。域,并分析内容。我在本地测试了它,每1000个
域名
抓取
一次需要20分钟。 我可以用它设置一个服务器,让它运行两周吗?或者
PHP
文件在特定的执行时间后崩溃是有原因的吗?
浏览 0
提问于2017-11-22
得票数 0
1
回答
如何使用AJAX测试我在Google上的爬虫能力?
、
/page/var1/ans1/var2/ans2site.com/pages/page.
php
?var1=ans1&var2=ans2映射到使用
PHP
,所以我的网站将显然
浏览 0
提问于2011-07-30
得票数 1
回答已采纳
1
回答
使用Selenium检索反向链接、HTTP代码和IP地址
、
、
我一直在使用普通的curl来
抓取
,但是curl在JavaScript上玩得并不好(实际上它们根本不能玩)。我在下面的链接中使用
php
的facebook
PHP
webdriver,但我找不到如何检索任何标题信息。如果您不知道这个问题的答案,那么您有没有更好的方法来
抓取
或获取HTTP头? 提前谢谢。
浏览 0
提问于2013-04-06
得票数 1
回答已采纳
1
回答
为什么我的网站描述和标题没有显示在谷歌上?
、
、
、
当我在谷歌上搜索我的网站时,它会显示
域名
描述和标题。为什么我自己的标题描述和
域名
没有显示? 📷
浏览 0
提问于2021-01-26
得票数 0
4
回答
如何使用jQuery从其他网站
抓取
内容?
、
、
、
我正在用
PHP
做一个新闻网站项目,对于这个项目,我想使用jQuery/JavaScript从其他新闻网站获取内容。jQuery有没有从其他
域名
抓取
内容的功能?在Stack Overflow中,我读到了jQuery.get()函数,是否可以使用此函数从其他站点
抓取
内容?
浏览 3
提问于2012-02-22
得票数 2
回答已采纳
1
回答
Scrapy抛出属性错误
、
、
通过我在这里编写代码的方式,我从不同的站点获得了结果,但由于某种原因,这个站点抛出了错误。因为我是scrapy的新程序员,我没有能力自己解决这个问题。Xpath是正确的。我将我在终端中看到的内容与代码一起附加:import scrapy Title = scrapy.Field()olxsp.pyfrom scrapy.linkextractors i
浏览 1
提问于2017-04-15
得票数 1
1
回答
如何
抓取
所有wordpress页面
、
、
、
我想
抓取
所有的wordpress博客。有没有快速列出wordpress.com下所有二级
域名
的方法?例如感谢你对这个问题的回答!
浏览 4
提问于2012-10-20
得票数 1
1
回答
仅
抓取
域名
、
、
如何使用Scrapy实现只
抓取
域名
? 我对任何domain.tld的深度搜索不感兴趣。我的想法是从每个域的索引页面只使用1跳的深度-所以直接从主页链接将足够作为链接缓冲区。
浏览 11
提问于2019-03-14
得票数 0
2
回答
我如何从抓地者那里获得
域名
而不付费呢?
、
、
可能重复: 从域棚户区购买域 一个
域名
抓取
者注册了一个我想要的
域名
。他们在网站上做的只是展示广告。我如何在不支付他们勒索费的情况下获得
域名
?
浏览 0
提问于2011-02-01
得票数 4
回答已采纳
2
回答
执行从随机网站下载的javascript代码
、
我做了一个工具,从其他网站(任何类型)
抓取
所有的html,css,javascript和图片。然后我在我自己的
域名
上执行这个(当然是在修改链接之后)。javascript也会执行,因此页面呈现与
抓取
的网站上的页面呈现完全相同。但都在我的
域名
下。有没有什么方法可以保护这个javascript的执行(使用不受控制的代码),这样被
抓取
的网站就不能获得我网站用户的cookie了?(或其他潜在的安全漏洞?) 谢谢。
浏览 1
提问于2013-05-24
得票数 1
3
回答
停止谷歌
抓取
我的网站
、
谷歌已经开始爬行我的网站,但从一个临时
域名
(beta.mydomain而不只是我的
域名
),我也只想让他爬行我的一些页面。因此,我想停止他们的
抓取
,只让他们
抓取
我在网站地图中指定的页面。我该怎么做呢?(我知道如何添加站点地图,但我如何停止他们当前的
抓取
,并请求他们只
抓取
站点地图) 更新:如果我删除了子域beta.mydomain,他们会“很好”还是会继续浏览所有被删除的页面并“不喜欢”他们?
浏览 0
提问于2011-08-02
得票数 0
回答已采纳
1
回答
抓取
过期
域名
、
、
、
我使用Scrapy
抓取
不同的网站,但实际上我的脚本跟踪每个网站,并添加到数据库的
域名
和后,我用
PHP
脚本检查过期的
域名
。 我希望有人能够帮助我改进我的脚本,因为实际的脚本没有为我的需要进行优化!在将
域名
添加到数据库之前,如何直接检查
域名
是否过期?
浏览 0
提问于2016-03-07
得票数 3
3
回答
IDN对web开发人员的影响?
因此,BBC刚刚发布了ICANN将批准在
域名
()中使用非拉丁字符的消息。干杯
浏览 0
提问于2009-10-30
得票数 2
回答已采纳
1
回答
Instagram
PHP
API: getTagMedia只能在本地运行
、
、
、
、
应用程序中的推荐
域名
上工作。我不知道这是否与我的
域名
绑定有关;我的公司(像大多数公司)有一个开发服务器,然后我将其绑定到我的
域名
。尽管这并不是问题,以前我使用这个解决方案来
抓取
Instagram feed。
php
// More examples here: https://github.com/cosenary/Instagram-
浏览 1
提问于2013-07-11
得票数 0
回答已采纳
3
回答
微信公众号无法添加
域名
:无法访问x.com指向的web服务器(或虚拟主机)的目录,请检查网络设置?
、
、
、
、
在微信公众号后台“公众号设置”-“功能设置”里添加“业务
域名
”、“JS接口安全
域名
”和“网页授权
域名
”:,再三确认按照以下要求设置,并且电脑可以访问到这个txt文件: 我这个
域名
是在腾讯云
浏览 4873
提问于2019-10-16
3
回答
替换Facebook源中的相对URL
、
我有一个页面,它正在拉动Facebook的RSS提要。不幸的是,提要同时包含相对路径和绝对路径。我想让用户能够点击任何给定的故事并在Facebook上阅读它。其中一个生成的链接是相对的,所以应该是:被转换为 http://www.shannonbaumsigns.com/ShannonBaumGraphics/photos/a.253345034707618.563
浏览 0
提问于2014-12-04
得票数 0
1
回答
始终通过scrapy获取状态429
、
、
这是
域名
禁止
抓取
他们网站的预防措施,还是我的设置? 据我所知,状态429的请求太多了。我已经尝试将并发请求设置为1,但仍然不起作用。 希望有人能给我一些反馈。 感谢所有人
浏览 32
提问于2020-04-23
得票数 0
1
回答
如何防止谷歌爬行UserDir URL(但不是真正的
域名
)?
、
、
我们有客户谁建立他们的网站在一个UserDir网址之前,他们的真正的
域名
运行。UserDir网址始终采用以下格式: 有时,Google会
抓取
这些UserDir URL,即使该站点在上运行,该临时站点也会在结果中显示出来。(当然,我需要Google来
抓取
真正的
域名
,因为SEO对我们的客户很重要)
浏览 1
提问于2012-04-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP使用Curl实现模拟登录及抓取数据功能示例
PHP实现远程抓取网站图片并保存在文件中
PHP远程抓取网站图片并保存在文件中,实践过
PHP模拟浏览器访问,抓取非本地文件的几种方法爬虫
二级域名收录难,那么如何快速收录?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券