我不明白为什么谷歌机器人不能抓取和索引我创建的WordPress网站。这就是我的robots.txt：Disallow: /wp-admin/Disallow: /wp-login.php
Disallow
浏览 1提问于2014-11-24得票数 0
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People" 'http://canada411.yellowpages.ca/search/si/1/519-896-7080/', def parse(self,response): yield
浏览 0提问于2017-02-16得票数 0
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 546提问于2024-01-06
1回答
我如何才能限制搜索引擎不读取我们的.php url，因为我们希望我们干净的url出现在搜索引擎中。我使用htaccess文件从所有的urls中删除.php，但是搜索引擎同时使用了这两个urls，即使用.php和不使用.php。
我想让搜索引擎只读没有.php扩展名的urls。
浏览 7提问于2015-12-15得票数 0
2回答
目前似乎还没有工具可用于爬取站点并将内容转换为ePub格式。我认为，在没有得到网站所有者明确同意的情况下，在网站上执行这一行动是有法律含义的。
浏览 2提问于2011-05-08得票数 1
回答已采纳
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
2回答
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
3回答
网站质量保证测试
、、
它主要是爬行一个网站，并显示对死链接、页面等的引用：。
我发现这对我们发布的网站的质量保证非常有用。我想知道是否有人使用应用程序来爬取这样的站点，但也会检查诸如缺少ALT标记、可访问性问题和有效的xHtml代码。
浏览 1提问于2009-08-28得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
我要做的是创建一个美国所有酒吧的数据库。我需要这个数据库半定期更新(大约每周)，以包括新开的酒吧。
浏览 0提问于2011-01-18得票数 1
首先，这样做的目的是爬取我们的一个登录应用程序，并获取有关作业运行的数据，而我可能无法通过任何其他方式获取这些数据。我可以通过浏览器登录，也可以检查我的cookie；那么我如何(及时地)将这些信息添加到cURL调用中，以便我可以使用PHP来解析返回页面(和链接)？
浏览 3提问于2015-11-18得票数 0
1回答
*Googlebot/2.1.*$这是当Googlebot尝试爬取内容时返回给它的内容
HTTP/1.1 410过期日期: Sat，05 Jan 2013 120.9.8e-fips-rhel5 mod_fastcgi/2.4.6 mod_jk/1.2.37 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 PHP我的网站也从谷歌搜索
浏览 4提问于2011-05-17得票数 1
2回答
当我重构一个网站时，我喜欢弄清楚现有的结构，以确保在将其移植到新的导航/菜单系统时不会遗漏任何东西。有没有自动化的工具可以在一个页面上生成网站的视觉结构？
浏览 0提问于2015-02-04得票数 0
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
浏览 0提问于2012-01-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
