妙数

如何配置robots文件屏蔽搜索引擎对特定目录的抓取,并且不让别人看到设置的具体目录?
如何配置robots文件来屏蔽搜索引擎对特定目录的抓取,并且让别人看不到你设置的具体目录?做网站的朋友大都知道,搜...
扫描右侧二维码阅读全文
26
2019/06

如何配置robots文件屏蔽搜索引擎对特定目录的抓取,并且不让别人看到设置的具体目录?

如何配置robots文件来屏蔽搜索引擎对特定目录的抓取,并且让别人看不到你设置的具体目录?

做网站的朋友大都知道,搜索引擎,例如,百度、谷歌等在网站具有robots.txt协议文件的情况下,会遵守robots协议对网站进行抓取,比如我们可以将部分不希望被抓取和收录的网站目录放到robots.txt的禁止目录里,这样就不会被搜索引擎收录。

但是由于robots.txt直接存放在网站根目录,大家都可以访问到,比如本站的robots.txt的网址为:http://www.mioshu.com/robots.txt,大家可以很方便的使用浏览器打开并查看robots协议内容。但是对于部分站长来说,为了加强网站的安全防范工作,不能将目录名称直接写在robots.txt文件中,这时就可以使用robots协议支持的通配符来完成这项工作。
常见的robots文件一般只需要设置allow,disallow规则,下面是这次涉及的使用通配符隐藏完整目录的robots规则示例:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*
这里巧妙的使用了*号,Disallow: /*admi*,意思是包含“admi”的 目录或域名 都不能被抓取,而*admi*,可以是admin,admin123,admin444,admin_2baa ... 可以是无数的可能,所以几乎没人猜得出来,也就相当于禁止别人看到你的目录了,从而起到安全作用。

robots协议生效检验

百度站长平台 https://ziyuan.baidu.com/robots/index

robots1.png

参考资料

最后修改:2019 年 06 月 26 日 04 : 37 PM
如果觉得我的文章对你有用,请随意赞赏

发表评论