对于网站来说,robots文件不是必须有,但有要比没有好。就像旅游景区,没有导游,游客照样可以游览,但有了导游,更有利于游客有序深度游览。
但我的网站robots文件在用某度检测工具检测时出现服务器端错误,代码500。这样的错误是会影响被某度收录的。
经搜索,有人说这很大程度上是代码错误的原因。开始我也以为是我的程序代码错误,因为我不是专业写程序的,写的比较随意,代码错误在所难免。为此我对一些程序进行改写,纠正了一些明显的错误代码和过时淘汰的代码。但经检测500代码错误仍然存在。
就在我一筹莫展时,我想到会不会是服务器设置有问题?经查发现,服务器的程序是以32位程序运行,会不会是这个原因??我试着修改为以64位程序运行。然后,再使用工具检测,一切ok!robots文件通过了检测。
领取专属 10元无门槛券
私享最新 技术干货