1回答
无法从该网站获得回复，postal.co.uk
scrapy
在本网站输入关键字后，我试图抓取结果，但被定向到另一个只有“受限”的网站，通过使用带有关键字的链接：，我尝试在其标题中添加一个引用程序，当使用命令: scrapy.http.Request(url=')但仍然无法解决它时，请帮助.谢谢。
浏览 4提问于2022-01-11得票数 0
1回答
谷歌分析测量协议未见
google-analytics、google-analytics-api
测量协议页面视图显示在我的默认视图(我称之为原始数据)中的，但是页面视图在替代视图中并不是，它已经“从已知的机器人和蜘蛛中排除所有点击”。唯一的区别是，另一种视图已经启用了“从已知的机器人和蜘蛛中排除所有点击”。这会不包括测量协议页面浏览量吗？如何解决？
浏览 0提问于2019-06-03得票数 0
1回答
具有get文件内容并将数据插入数据库的php cron
php、mysql、cron
我创造了一只蜘蛛，我想让我的蜘蛛在箱子里运行。在从简历文件获得id的第一步中，它有以下步骤。第二，它从临时数据库中获取url。第三，它将内容、标题和元标记放到数据库中。我在我的蜘蛛中包含了另一个文件，它包含以下功能
它不适用于cron作业。/usr/local/bin/php /home/user/public_html/cron.php
浏览 0提问于2016-12-31得票数 1
回答已采纳
2回答
基于蜘蛛属性更新刮伤设置
python-3.x、scrapy
有没有一种使用刮擦的方法来动态地设置，为运行时给出的蜘蛛设置设置？我想给我的蜘蛛添加一个isDebug变量，并根据它的值来调整日志级别、管道和其他各种设置.from_crawler(cls, crawler): settings['USER_AGENT'] = 'Overwridden-UA
浏览 1提问于2017-02-09得票数 5
回答已采纳
1回答
是否有一个基于Java的web浏览器不能正确地跟踪超链接？
asp.net、http、java
通过我的日志，我经常会发现这个错误：错误通常是由于有人导航到这样的URL：您会注意到，本应链接到https://tfs...的链接已成为https:/tfs...，显然web浏览器将其作为相对路径而不是绝对URL进行集成。
但是，如果在原始页面(http://octopusdeploy.com/blog)上执行视图源，您将找到指向https://tfs...的链接，但没有指向https:/tfs..的链接。客户端似乎弄错了链
浏览 0提问于2012-08-06得票数 6
回答已采纳
1回答
在发出带有头和有效负载的刮擦性post请求时出错400次
python、scrapy、http-post
我正在制作一只蜘蛛，从任天堂收集一张游戏列表。我已经使用postman和python请求库检查了请求格式，并得到了所需的结果。但是，当我用刮伤创建请求时，我会得到400个错误。这是蜘蛛： name = "nintendo"
def start_requests(self):url = 'https://u3b6gr4ua3-dsn.algolia.net/1/indexes
浏览 17提问于2022-07-21得票数 0
2回答
用于检测来自垃圾邮件发送者的真正搜索蜘蛛的小php代码
php、bots
嗨，我只想知道你对我在一个网站上发现的这个代码的意见，这个代码是用来从垃圾邮件制造者那里检测真正的搜索蜘蛛的，它好吗？？对于这个主题的其他脚本或方法，您有什么建议吗？$ua = $_SERVER['HTTP_USER_AGENT'];
f
浏览 1提问于2011-03-18得票数 0
回答已采纳
1回答
寻找正确的cookie和重定向技术
javascript、cookies、redirect
这就是情况，网站的头部有代码，可以重定向到移动网站。然而，在移动网站上，它有一个链接来加载实际的网站。我以前从来没有尝试过cookie，所以如果找到cookie，我会在链接到实际站点时使用onclick="dropCookie()“，然后重定向脚本不重定向吗？任何关于这是如何工作的例子都会令人惊叹！谢谢。
浏览 0提问于2011-09-15得票数 0
回答已采纳
3回答
更改Scrapy/Splash用户代理
python-3.x、web-scraping、scrapy、splash-screen
如何以类似的方式设置Scrapy的用户代理，如下所示：from bs4 import BeautifulSoup
url = "http://www.example.com"soup = BeautifulSoup(page.text, "lxml")
我的蜘蛛</
浏览 0提问于2017-09-04得票数 5
回答已采纳
1回答
PHP不会加载XML文件
php
HTTP/1.0 403 Forbidden in /home/ubuntu/workspace/MOT/includes/functions.php on line 46
浏览 0提问于2016-01-28得票数 0
3回答
注入站点的JavaScript代码:你能帮我解密吗？
javascript、malware
最近，我成为了一次网络攻击的受害者，它似乎获取了各种PHP服务器变量，然后将它们转发到攻击者的网站。(访问者/网站、推荐人、用户代理等的IP)然后，它将获取它向其发送URL请求的文件，并将其回显()到source。PHP花了我几个小时才弄明白它到底做了什么，在传递了一些虚拟信息后，它返回了这个(正在回显到源代码中)
<script type='text/javascript'>eval(function(p,a,=-1){5 t=u("9()",y)}
浏览 1提问于2011-10-14得票数 4
4回答
从$_SERVER[‘REQUEST_URI’]中删除父文件夹；
php、request-uri
php $currenturl=$_SERVER['REQUEST_URI']; ?>
<a href="https://mysite.com/br<?php echo $cu
浏览 4提问于2013-11-21得票数 3
回答已采纳
2回答
为什么我的ASP网站内容没有被谷歌抓取？
javascript、asp.net、seo、web-crawler、google-crawlers
1.webconfs.com/search-engine-spider-simulator.php它显示蜘蛛没有在我的网站上看到任何文本。我在body标记下面插入一些文本之后运行测试，即使结果显示为蜘蛛看不到文本。即使是菜单栏项目文本也没有被机器人找到。
我的机器人文本并不限制机器人获取我的内容和元数据作为索引，请遵循。
浏览 3提问于2014-12-03得票数 0
回答已采纳
4回答
我怎么知道是谷歌蜘蛛还是其他蜘蛛访问了我的页面？
php、web-crawler、user-agent
我怎么知道是谷歌蜘蛛还是其他蜘蛛访问了我的页面？header('Location: index.php');}
?
浏览 3提问于2010-11-13得票数 2
回答已采纳
2回答
CloudFront phppBB3用户代理报头
amazon-web-services、amazon-cloudfront、phpbb3
phpBB3使用用户代理头来检测机器人和蜘蛛，所以我在CloudFront行为中添加了一个白名单标题来转发用户代理，但是AWS警告不要这样做，因为用户代理头的排列数量太多。
浏览 6提问于2015-02-01得票数 0
2回答
刮伤Start_URL不正确
python、url、scrapy、scrapy-spider
CrawlSpider): #allowed_domains = "http://www.bayareaparent.com/Camp-Guide/index.php奇怪的是，我已经将start_urls用于我的其他蜘蛛，它的工作方式与其他蜘蛛无关。不知道它为什么会改变这里的一切
浏览 0提问于2016-04-12得票数 0
3回答
只在它应该隐藏的时候显示
php
phpswitch(true) { $device = 'android'; break; $device = 'ipad'; break;
case stripos($ua,'iphone
浏览 6提问于2013-09-05得票数 1
回答已采纳
1回答
从PHP/HTML或PHP服务器调用scrapy脚本
php、python、web-scraping、scrapy、scrapyd
我有一个刮擦的脚本，它将运行多个蜘蛛。我想从PHP/HTML代码中爬行单个蜘蛛或运行多个蜘蛛脚本。这有可能吗？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-22得票数 0
回答已采纳
1回答
用于php或等效程序的htmlunit
php、htmlunit
我正在写一个蜘蛛脚本，我需要蜘蛛来获得由javascript生成的内容，我听说htmlunit将执行javascript.My脚本是php，我如何获得与htmlunit的工作？有没有与php等同的？
浏览 1提问于2011-10-23得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号