robots文件的规范写法

robots文件的规范写法

以下是应届毕业生网为大家整理好的有关SEO网站优化的知识，希望对大家有所帮助！

　　一、概念

　　1、网站和搜索引擎之间的协议文件

　　2、蜘蛛爬行网站的第一个要访问的文件

　　3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

　　二、robots语法

　　1、User-agent 定义搜索引擎类型

　　2、Disallow 定义禁止抓取收录地址

　　3、Allow 定义允许抓取收录地址

　　4、* 匹配0或多个任意字符

　　5、$ 结束符

　　6、% 代表中文路径

　　7、? 代表动态路径

　　8、Sitemap 网站地图

　　三、robots写法举例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的规范写法】相关文章：

浅谈进一步了解对robots文件的认识06-27

用Excel指定打开的文件夹的文件10-24

什么是DOS文件08-04

ai文件怎么导出保存为ps文件08-23

怎样把dwg文件批量转换为pdf文件08-15

如何将excel文件转换成pdf文件07-22

编制电梯招标文件09-27

怎么打开sql文件07-29

word文件的转换方法08-09

如何给word文件加密08-23