腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何阻止Web
爬虫
下载文件
、
、
是否有可能阻止web
爬虫
在我的服务器上下载文件(如zip文件)?有可能阻止网络
爬虫
吗?或者,在下载最多3个文件后,是否还有其他选项可以将文件隐藏在web
爬虫
上?我可以很容易地创建一个
PHP
脚本,使用cookie强制访问者
登录
/注册,但是web
爬虫
呢? 顺便说
浏览 0
提问于2013-07-27
得票数 1
1
回答
Crawler
登录
到gmail电子邮件帐户
、
我想写一个
爬虫
在Java中
自动
登录
到gmail帐户。我的
爬虫
将获得
登录
Id和密码,并将
登录
到电子邮件帐户,并显示输出页面。我不清楚该怎么做。谁能告诉我如何编写
爬虫
登录
到gmail电子邮件帐户?任何回应都将不胜感激。 提前谢谢。
浏览 2
提问于2010-08-27
得票数 1
1
回答
Google站点搜索受保护的页面
、
、
我想实现一个网站搜索,并有这些受保护的网页出现在搜索结果中,但需要
登录
才能查看它们。
浏览 2
提问于2012-06-02
得票数 1
回答已采纳
5
回答
PHP
头重定向301 -其含义是什么?
、
、
、
如果用户已
登录
,则应
自动
加载domain.com/option-X,其中X是用户的预定义选项。因此,我在index.
php
的顶部执行以下操作:但是,如果用户没有
登录
,我会
自动
选择第一个选项,如下所示:header("Location: /option-a")
浏览 52
提问于2011-09-07
得票数 61
回答已采纳
1
回答
登录
到Microsoft并不返回预期的CURL "302“:服务器知道使用了
PHP
吗?
、
、
我使用
PHP
登录
到我的microsoft帐户并执行一两个操作。到目前为止,我已经意识到,您需要一个PPFT令牌作为CSRF令牌
登录
到微软。我可以通过在上运行这个javascript
登录
到我自己的帐户。看看这张截图:但是在
PHP
上,微软似乎知道我在使用
PHP
。我怎么可以用javascript $.post请求
登录
,但不能使用
PHP
?
浏览 2
提问于2015-02-20
得票数 0
1
回答
基于
PHP
crawler的IP切换
、
、
、
、
我正在寻找一个解决方案,以切换IP时
自动
运行
PHP
爬虫
。我有一个自定义的
爬虫
,它运行100个线程,但由于油门限制,我经常被阻塞。因为
PHP
不支持多线程,所以我设置了windows调度程序来并行运行
PHP
应用程序。 我想为每个线程分配一个不同的IP地址,并欢迎任何建议来克服这个问题。
浏览 1
提问于2014-04-14
得票数 0
4
回答
自动
登录
Google Web Crawler
、
我想
自动
检测谷歌和其他
爬虫
,并将它们
登录
到我的ASP.NET网站。有没有人找到一种可靠的方法来做到这一点?
登录
部分很简单,但是要可靠地检测它们才是真正的问题。 致以问候。
浏览 0
提问于2009-09-16
得票数 3
回答已采纳
1
回答
是否有一个蜘蛛/链接检查器可以在受
登录
保护的站点内部启动?
、
、
我需要能够
登录
到黑板管理员,导航到课程部分,并执行搜索,以调出课程列表,然后运行链接检查在搜索结果的链接。 有这样做的产品或服务吗?我从未使用过selenium,但我想知道脚本解决方案是否更合适。
浏览 0
提问于2013-02-22
得票数 2
2
回答
Scrapy在页面上找不到表单
、
、
、
、
我正在尝试编写一个
自动
登录
到的
爬虫
。有没有可能以某种方式对我的
爬虫
隐藏表单内容?如果是这样,我该如何修复它?
浏览 0
提问于2018-06-30
得票数 1
1
回答
编写可与任何服务器保持
登录
状态的crawler
、
、
、
、
我正在写一个
爬虫
。一旦
爬虫
登录
到一个网站,我想使
爬虫
“停留-始终
登录
”。我该怎么做呢?客户端(如浏览器、
爬虫
等)使服务器遵守此规则吗?当服务器在一天内允许有限的
登录
时,可能会出现这种情况。
浏览 0
提问于2009-11-26
得票数 0
回答已采纳
1
回答
限制对REST REST服务的访问
、
、
、
我有一个Spring Rest webservice,我从我的网站(html页面)调用它,所以任何人都可以从html页面的源代码中检索webservice URL。我的目标是防止其他人不经过我的站点就调用rest服务还是另一种方式?
浏览 4
提问于2016-04-28
得票数 0
3
回答
保护网站内容不受
爬虫
的攻击
、
、
我个人的想法是使用robots.txt:禁止
爬虫
访问页面上的一个公共网址(这可以伪装成一个正常的项目详细信息链接,但对普通用户隐藏有效网址:禁止:128以下的 )。
浏览 0
提问于2011-07-06
得票数 5
回答已采纳
1
回答
如何设置支持一系列动态URL的AdSense
爬虫
登录
?
、
、
每一段动态内容都有自己的网址,如"www.example.com/page/\*/\*“是否有任何方法来设置支持一系列动态URL的AdSense
爬虫
登录
?
浏览 0
提问于2015-02-03
得票数 3
1
回答
在错误报告中区分布鲁特力和爬行器
、
、
、
有一个好的方法来区分明显的暴力攻击和
爬虫
检查网站吗? 更新:所有电子邮件都是从生产网站生成的。错误报告发出空引用异常。
浏览 0
提问于2017-03-01
得票数 0
回答已采纳
1
回答
在爬行web应用程序时使用Xdebug度量代码覆盖率
、
、
我构建了基于ChromeDriver Selenium的
爬虫
,当我的
自动
爬虫
爬行应用程序时,我想测量web应用程序的代码覆盖率。我在
PHP
上安装了Xdebug,但不知道如何启动?有人能想到给我一个步骤,因为我没有找到任何资源来帮助我。
浏览 2
提问于2021-06-02
得票数 1
回答已采纳
3
回答
使用onclick()重定向到下一页
、
php
?><script type="text/javascript"> if(isset($_SESSION['user']) else return false
浏览 20
提问于2016-09-02
得票数 0
回答已采纳
1
回答
如何允许Facebook访问受保护的内容
、
、
我在受密码保护的页面上使用Facebook评论。我最近发现,当创建一个新的帖子时,我收到错误'facebook comments {page} is unreachable‘,并且当我使用Facebook的调试工具进行调试时,找不到ID。FB Namespace、meta tag和js都被正确插入,并且在所有非受保护的页面上都能正常工作。所以我猜Facebook需要能够在第一时间访问页面才能在它的数据库中设置它? 有没有办法让Facebook一开始就能访问这个页面?例如,在我的
浏览 3
提问于2011-09-20
得票数 1
3
回答
如何使
爬虫
能够访问封闭(私有)的wiki?
、
、
我需要向
爬虫
提供访问私有维基的权限。对于如何启用对单个客户端(而不是用户,因为
爬虫
无法
登录
到wiki)的访问,有什么建议吗?
浏览 2
提问于2011-01-27
得票数 0
回答已采纳
3
回答
黑客爬行器将iframe插入文件
、
、
不知何故,“黑客
爬虫
”不断地将有害的iframe元素插入到我的一个文件中:这是
自动
完成的,而不是由一个人完成的,我想。我已经通过FTP多次更改了我的所有密码以及文件的CHMOD,所以我假设这是在我的站点上做的(
PHP</e
浏览 0
提问于2011-05-26
得票数 2
回答已采纳
1
回答
如何检查当前web用户是否是实际用户而不是
爬虫
、
、
、
有没有一种准确的方法来检查当前浏览我的网站的用户是否是一个真正的用户,而不仅仅是一个
爬虫
。
浏览 0
提问于2013-04-27
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP爬虫
php爬虫
python知乎爬虫,模拟登录,自动保存获取答案
php 网站爬虫入门
想爬虫?登录了再说
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券