robots.txt写法

1、什么是robots.txt协议
robots.txt协议是搜索引擎蜘蛛访问一个网站第一个要访问的文件,它规定了搜索引擎能访问什么文件和不能访问什么文件,相当于甲方和乙方所签订的合同,但现实中有些搜索引擎并不遵守robots.txt协议。
robots.txt协议
2、robots.txt的重要性

保护网站隐私防止信息泄露
站内那些页面需要参与排名,站在优化的角度说,合理抓取资源
屏蔽内容不想被抓取的的隐私内容,后台,数据库文件,模板,插件文件等等或者做了伪静态金瓶壁动态路径
屏蔽垃圾页面和重复页面(动态和静态,多路径的同一页面)中文链接,屏蔽死链接

3、robots.txt放在哪里

robots.txt文件应该放置在网站根目录下,没有自己创建一个。

4、怎么写robots重点

User-agent:用户代理,定义搜索引擎类型,该值用于描述搜索引擎robots的名字
Disallow:不希望被访问的一组url,定义禁止抓取收录的地址
Allow:希望被访问的一组url

5、robots通配符

* 匹配0或多个任意字符
$ 结束符

6、注意点

不要随意屏蔽整站,生效时间短则几天,长的一个月,在robots中禁止百度收录,百度搜索结果中还显示。
空格
第一个字母大写

7、robots生成

站长工具,爱站

8、网站robots查看

浏览器输入:域名/robots.txt

9、robots限制如何解除

登陆ftp进入网站根目录对robots编辑

10、robots.txt下载

本站robots文件:http://www.nb-seo.cn/robots.txt

声明:本文由 宁波SEO原创或整理发布,已提交版权信息!请勿采集,违者必究! 更多优化知识请查看 SEO教程

发表评论

电子邮件地址不会被公开。 必填项已用*标注