1、什么是robots.txt协议?
robots.txt协议是搜索引擎蜘蛛访问一个网站第一个要访问的文件,它规定了搜索引擎能访问什么文件和不能访问什么文件,相当于甲方和乙方所签订的合同,但现实中有些搜索引擎并不遵守robots.txt协议。
2、robots.txt的重要性
保护网站隐私防止信息泄露
站内那些页面需要参与排名,站在优化的角度说,合理抓取资源
屏蔽内容不想被抓取的的隐私内容,后台,数据库文件,模板,插件文件等等或者做了伪静态金瓶壁动态路径
屏蔽垃圾页面和重复页面(动态和静态,多路径的同一页面)中文链接,屏蔽死链接
3、robots.txt放在哪里
robots.txt文件应该放置在网站根目录下,没有自己创建一个。
4、怎么写robots重点
User-agent:用户代理,定义搜索引擎类型,该值用于描述搜索引擎robots的名字
Disallow:不希望被访问的一组url,定义禁止抓取收录的地址
Allow:希望被访问的一组url
5、robots通配符
* 匹配0或多个任意字符
$ 结束符
6、注意点
不要随意屏蔽整站,生效时间短则几天,长的一个月,在robots中禁止百度收录,百度搜索结果中还显示。
空格
第一个字母大写
7、robots生成
站长工具,爱站
8、网站robots查看
浏览器输入:域名/robots.txt
9、robots限制如何解除
登陆ftp进入网站根目录对robots编辑
10、robots.txt下载
本站robots文件:https://www.nb-seo.cn/robots.txt