首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

SEO分享:彻底禁止搜索引擎收录非首选域名的方法

理论上,301 重定向是对搜索引擎友好的设置,而且搜索引擎也能识别 301 返回码,从而只收录首选域名。但也有个例!...曾多次搜索过如何禁止搜索引擎收录带 www 或不带 www 的域名的方法,但是都是一些做 301 设置的方法,看来还不够彻底!...下面,我就来分享一下彻底禁止搜索引擎收录非首选域名的方法: 提前说明:如果正好和张戈博客相反:你的首选域名是带 www 的,那下面的代码只需要依葫芦画瓢的修改下即可,我就不赘述了。...从图中的检测结果可知,带 www 域名的 robots 理论上已禁止所有搜索引擎的抓取!...> 如此,就双管齐下的做好了禁止搜索引擎收录新站非首选域名的设置! 五、终极大招 张戈博客亲自测试发现,就算是加了 robots 限制,百度依然还会索引这个非首选域名: ?

4.4K70
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    全网搜索引擎采集(msray)|URL采集|关键词采集|域名采集

    搜索引擎全网采集Msray-plus,是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令,提供本地WEB管理后台对软件进行相关操作,功能强大且简单易上手!...1:可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据),并进行结构化数据存储与自定义过滤处理;2:可从用户提供的url种子地址,源源不断的自动爬取全网网站数据,并进行结构化数据存储与自定义过滤处理...同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据,主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑...----1:采集注意事项1:搜索引擎是根据关键词采集的,采集之前要准备好关键词(关键词可以为txt文档,一行一个)---- 2:配置流程1:上传关键词文件2:选择适合自己需求的过滤规则(可保持默认)3:...选择需要使用到的搜索引擎4:过滤方案的使用,可以保持默认,也可以自定义过滤规则,可根据域名,ip地址,国家信息进行过滤图片图片----3:对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘,大规模采集互联网公开数据

    1.8K20

    搜索引擎关键词采集域名采集URL采集联系信息采集工具

    搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus,是一款采用GO语言开发的企业级综合性爬虫/采集软件。...同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据,主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑...支持多种搜索引擎目前已经集成了市面上主流的搜索引擎,而且还在持续的集成添加中......图片Msray-plus主要功能1:关键词采集MSRAY-PLUS可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果...全自动拓展出相关词并采集(无限采集);2:外链采集任务引擎MSRAY-PLUS可从用户提供的url种子地址,源源不断的自动爬取全网网站数据(无限爬取),并进行结构化数据存储与自定义过滤处理;支持存储的数据包括:域名...,开启了【关联外链抓取任务】,那么创建搜索引擎任务后,系统也会自动生成对应的外链引擎任务!

    1.5K20

    nginx 域名绑定 域名, nginx 域名绑定 端口

    一、nginx 域名绑定 域名 nginx绑定多个域名可又把多个域名规则写一个配置文件里,也可又分别建立多个域名配置文件,我一般为了管理方便,每个域名建一个文件,有些同类域名也可又写在一个总的配置文件里...一、每个域名一个文件的写法        首先打开nginx域名配置文件存放目录:/usr/local/nginx/conf/servers ,如要绑定域名www.itblood.com 则在此目录建一个文件...:www.itblood.com.conf然后在此文件中写规则,如: server{ listen 80; server_name www.itblood.com; #绑定域名...nginx服务器重起命令:/etc/init.d/nginx restart 二、一个文件多个域名的写法 一个文件添加多个域名的规则也是一样,只要把上面单个域名重复写下来就ok了,如: server{...301跳转 如果不带www的域名要加301跳转,那也是和绑定域名一样,先绑定不带www的域名,只是不用写网站目录,而是进行301跳转,如: server { listen 80; server_name

    69.9K73

    搜索引擎

    它们都称之为搜索引擎。虽然听起来比较高大上。但实际上他们就是搜索数据用的。但站在数据方面考虑,实际上数据会分为两种:结构化数据和非结构化数据。 结构化数据:简单来说,就是有固定格式固定长度的的数据。...所以谷歌和百度搜索引擎的基本原理就是:网络机器人或者网络蜘蛛通过扫描网页中的内容,提取出相应的关键词,然后为提取出的关键词建⽴索引,并记录该关键词在文章中位置,当用户搜索时,如果命中该关键词,搜索引擎就根据按照之前的索引进查找...它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch也是用Java语言开发的。...那为什么还会出现类似Elasticsearch这样的搜索引擎技术呢?答案就像我上面介绍的那样。搜索引擎并不会将所有的数据全部按照结构化存储,而是按照相应的关键字存储。...所以,正是因为数据库有种种这样的原因,才会出现全文搜索引擎存在的必要。 ---- 下面我们介绍一下全文搜索引擎比较适合的应用场景都有哪些: 搜索数据比较大的非结构化数据。 支持文本数据量达百万级别。

    1.2K11

    域名

    介绍域名域名称(英语:Domain Name,简称:Domain),简称域名、网域。域名是互联网上某一台计算机或计算机组的名称。域名可以说是一个 IP 地址的代称,目的是为了便于记忆。...这种服务器就叫做这个域的权威域名服务器(也常称为授权域名服务器),它拥有这个域所有的域名信息。每个域都可以分为多个子域,而每个权威域名服务器可以给一个或多个区域进行解析。...如果有一个询问该子域信息的请求,所返回的应该是该子域的权威域名服务器列表。一个域可以有多台权威域名服务器,但是只有一台是主域名服务器,这台主域名服务器负责向其他辅域名服务器分发每个域名空间的更新信息。...域名解析域名解析包括正向解析和反向解析。正向解析是把域名转换为 IP 地址。这需要由专门的域名解析服务器来完成。反向解析是把 IP 地址转换为域名。...域名的应用域名服务器可以将域名映射为 IP 地址。基于这个特点,域名解析除了可以用于浏览器之外,域名解析还可以用于以下的场景:基于域名实现重定向:使用域名代替 IP 地址。

    22.7K00

    域名怎么解析?如何挑选域名

    其实这是一门专业的学问,学习了具体的域名解析方法,能够帮助人们更好地完善自己的域名,也能让网站运营更加顺利。今天就来具体介绍域名怎么解析?如何挑选域名?希望对大家有所帮助。...人们首先进入网站点击用户名,在出现的下拉框中点击“产品管理”选项,在这一栏目的左侧找到域名栏目点击确定,界面便出现之前已购买的域名,仔细查看右侧的续费、解析、管理等按钮,再点击“解析”进去,之后域名解析后台便呈现眼前...二、如何挑选域名?...想要建设网站,首先要注册好域名,挑选域名是非常关键的,一个好的域名能够方便用户记忆,先要挑选信誉高的域名注册商,在注册前与他们进行一系列的洽谈,详细沟通注册域名域名怎么解析等细节,根据网站的提示去进行操作...域名怎么解析?

    40.9K20

    域名系统中的域名

    如下图 名字(也叫标号)组成只能是英文或者数字,目前中文也支持了,长度不大于63个字符,总共完整域名长度不超过255个字符,英文域名不区分大小写,从右到左,域名级别依次降低。...www是表示万维网,不属于域名 2.域名的树结构’ 3.域名服务器 DNS服务器管理范围的单位是区,不是域,因为区才是DNS服务器管理的实际范围,区是域的子集,同一个区里的主机节点必须互通,它们都有一个统一的访问权限...DNS服务器也是类似域名空间树一样的树结构,依次分为根域名服务器(知道所有的顶级域名服务器的域名和IP,最重要,它要是瘫痪,整个DNS就完蛋),然后是顶级域名服务器(管理二级域名),其次是权限域名服务器...(负责区的域名服务器)。...最后是本地域名服务器(也叫默认域名服务器),本地域名服务器离主机很近(书上说不超过几个路由器),速度很快,其实本地域名服务器本质不属于域名服务器架构。

    20.1K30

    AI搜索引擎

    ,当时也有过猜想,会不会用于搜索引擎,而且也安装过chatgpt谷歌拓展插件,感觉还可以~),但转念一想,也正常,因为我们所处的时代发展速度不同以往了。...通过与 ChatGPT 发明者 OpenAI 合作,微软给自己的搜索引擎加入了先进的 AI 对话模型,以支持全新版本的必应(Bing)和 Edge。...更重要的是我们将重新创造搜索引擎,会有很多美好的事发生,这是一个重要时刻,」微软CEO纳德拉表示。...我本来也想试试,但是现在公测版还未发行,且内测版被各大头条垄断,只能先看看谍照了hh ---- 基于AI的搜索引擎 新模式的搜索引擎 ---- 我们能看到,新必应搜索的其中一种模式将传统搜索结果与...因为人们正在使用搜索引擎来做它最初没有设计的功能。搜索引擎非常适合查找网站,但对于更复杂的问题或任务来说,它往往不够用。

    1.2K20

    其他搜索引擎

    Shodan的介绍可以说是很详细了,对于其他的空间搜索引擎,我就不再详细的去研究了,因为都是差不多的。...Censys 之前对这款搜索引擎的了解并不是很多,曾经在Freebuf上看到过介绍,当然仅仅是介绍而已,可能是因为Censys提供了官方文档(https://censys.io/overview) Censys...可以看到有很多之前我们爆破和查询没有得到的子域名信息 由于我们进行的是被动信息收集,所以我们不要点进去查看,只是这样看就好了 在查看了所有的页面都查看完成后,多发现两个子域名 kjbj.hasee.com...kfgl.hasee.com 这里只收集域名信息,其他内容部分我们后面还有 ZoomEye 钟馗之眼 说到Zoomeye,心里还是有一丝骄傲的,之前我就说过国内在空间搜索方面也做的很好其实就是说的ZoomEye...---- 对于搜索引擎,我只是对于Shodan详细介绍了,其他几个并没有进行深入探讨,甚至没有进行深入介绍,大概就是因为Shodan做的确实很好吧!

    98420

    top什么域名 如何选择域名

    当我们决定要建设网站的时候,就需要去选择一个合适的域名了,市场上的域名多种多样,不同的域名作用也是不一样的,有些域名还分成了国内和国际,大家知道top什么域名吗? top什么域名 top什么域名?...如何选择域名 我们都知道域名是非常多的,当我们在选择域名的时候,一定要注意域名是属于国际的还是国内的,top域名就属于国际的通用域名,如果大家的网站用户主要是国外的话,就可以选择这样的国际通用域名了,但如果大家的网站用户主要是国内的话...,选择国内的域名会比较好,国内比较通用的域名非常的多,如cn域名等等,如果大家想要使用国内和国际都通用的域名,也可以选择com域名。...此外,选择的域名最好是比较简单的,因为简单地域名才能给网站带来更多的流量。 域名非常的多,top什么域名?...它是国际通用顶级域名,在国际上受到了很多企业和用户的欢迎,而且十分的容易记忆,识别度也是非常高的。如果大家要选择域名,可以根据自己的需要来选择国内或是国际的域名

    45.3K20

    中文域名怎么用?选择中文域名好还是英文域名

    网络中有很多的域名,他们是网站的名称地址,有了他们用户们可以直接访问网页。在实际生活里,大多数人见到的都是英文域名,中文域名还是很少见的。不过中文域名和英文域名的作用是一样的,都相当于门牌号码。...中文域名解析的不是直接的中文域名而是域名下面的一连串英文加数字的域名,只要在地址栏里输入自己中文域名就会出现在下方,这时候你可以选择复制然后再去管理平台解析域名。...然后把解析出来的域名和中文域名绑定,你就可以正常访问网页了。 选择中文域名好还是英文域名?...这主要看个人喜好吧,我个人觉得英文域名好一些,因为看了中文域名怎么用的内容之后就知道中文域名并不普及,所以很多浏览器都打不开,如果想要访问中文域名就需要多一步解析的过程,对于新手小白来说还是挺麻烦的。...总之,现在大家都知道中文域名怎么用了,所以是选择中文域名还是英文域名看个人选择。只希望中文域名能够普及起来,这样很多浏览器就可以直接使用了。

    27.1K20

    net域名如何 如何选择域名

    域名出现的时间是非常早的,所以现在的网络上有着各种各样的域名,我们在日常的生活当中经常能够看见域名,而有些域名是非常流行的,net域名如何? net域名如何 net域名是比较常见的,net域名如何?...除了net之外,cn域名和com域名也是比较常见的,它们的用户也非常的多,这主要是因为这些域名辨识度是比较高的,所以大家在考虑注册域名的时候,可以参考一下这几种域名。...如何选择域名 域名主要分为了两类,一类是国内和地区的域名,另外一类是国际的域名。...当我们选择域名的时候,首先需要考虑面对的客户是国内还是国外的,如果客户主要是国内,大家最好就选择国内和地区的域名了,如果面对的客户是国外的,大家就可以选择国际的域名了,因为不同的域名作用是不一样的,国外的人对于国际域名的认可度会比较高...此外,大家在选择域名的时候,可以选择比较容易记忆的域名,这样的域名是可以带来流量的,也能够帮助企业留住客户。 域名多种多样,net域名如何?

    21.3K10

    什么是域名?如何理解域名

    域名是互联网一个刚需的东西,要知道所有网站都是域名+服务器+代码以及一些部分组成的,所以想要打造一个网站,了解域名是必要的前提,说到这里,什么是域名呢?...还有人对域名的理解是非常模糊的,域名的圈子是非常大的,了解域名会得到意想不到的收获。那么下面我们讲讲对域名的理解吧。...域名由多个组件组成,包括顶级域名(TLD),二级域名和三级域名,顶级域位于URL的最右侧通用顶级域名如:.com,.org,.net,.gov,.edu和.biz。...域名的分类: 一是世界域名(international top-level domain-names,简称iTDs),也叫世界顶级域名。这也是运用最早也最广泛的域名。...二是国内域名,又称为国内级别域名(national top-level domainnames,简称nTLDs),即依照国家的不一样分配不一样后缀,这些域名即为该国的国内尖端域名

    23.4K60

    有什么好的域名类型 哪些域名类型是好域名

    只有在网站建设的时候才会发现,一个好的域名不仅实用性高而且是可以保值的,毕竟域名的重要性间接导致出现了很多专门从事域名交易行当的商人。...可见域名这种东西不仅可以当做网站保值的核心内容,在网站建设的时候也存在着必要性,好的域名不仅可以充当id卡,更是一笔财富。下来就有什么好的域名类型相关问题为大家带来介绍。...2、域名是多种多样的,其中经典域名com,不仅应用广泛时间久,而且维持的热度也很高。作为在互联网最流行使用的域名,.com一直是长期的首选。 3、使用时间久的域名价值相对高。...比如百度,对于老域名的收录比新域名要快很多。 4、域名最重要的是构成元素,未遭受惩罚的域名价格比起遭受惩罚的域名价格差异很大。 以上就是对有什么好的域名类型以及哪些域名类型是好域名的介绍了。...总之,无论是国内还是国外,可见不同域名类型都有应用,相关区域也有市场。如果把域名作为投资去收藏的时候,一定要选好域名,好的名字才能在以后的市场爆发出潜力。

    24.4K40

    edu域名怎么注册?edu域名是我国顶级域名吗?

    不同行业中建设的网站类型也是不一样的,为了具体区分不同网站我国也为大家提供了各种类型的域名,将域名分为了顶级域名、二级域名以及三级域名等等,在不同等级的域名中也分为了很多详细的分类,大家在平时浏览网站的时候也能看到不同网站的网址后缀也是不一样的...,有的是.cn有的是.com,还有一些特殊的域名比如edu域名,不过大家对于edu域名都是不太熟悉的,那么edu域名怎么注册?...不同域名的注册方式也是不一样的,像edu域名这种特殊的域名需要拥有很多前提条件,那么edu域名怎么注册呢?...3、注册的域名和其他网站不能相同。 edu域名是我国顶级域名吗? 大家都知道域名是分为各种级别的,不同级别的域名差别也比较大,很多人会问edu域名是我国顶级域名吗?...答案是肯定的,作为我国教育机构专门使用的域名,edu域名是属于顶级的域名,下面还拥有很多二级域名

    24.9K30
    领券