seo优化中的robots协议文件怎么编辑？

2021-06-01 21:53:35来源：seo知识网作者：seo知识网阅读量：

seo优化中的robots协议文件的作用就是为了屏幕一些对网站排名没有关联的内容文件，让搜索引擎蜘蛛抓取更加顺畅，不过很多新手seo对robots的设置不是很了解。今天seo知识网就为大家介绍一下seo优化中的robots协议文件怎么编辑？希望对大家有所帮助。

robots协议一般普遍的robots协议书写如下：

User-agent:*

Disallow:/*?*

robots协议放哪儿呢？robots.txt这一文件名称是固定不动的，务必那样写。无论大家做哪些的网站全是这一名字。robots协议文档放到网站根目录，说白了的网站根目录便是http://网站域名/robots.txt可以立即浏览到的。

robots.txt的书写标准：

Disallow:/*?*禁止访问网址中全部的动态性网页页面。

Disallow:/jpg$严禁爬取网页页面全部的.jpg格式的照片。

Allow:/tmp这儿界定是容许爬寻tmp的全部文件目录。

Allow:.htm$仅容许浏览以".htm"为后缀名的URL。

Allow:.gif$容许爬取网页页面和gif格式照片。

User-agent:*这儿的*意味着的全部的百度搜索引擎类型，*是一个使用通配符,容许搜索引擎蜘蛛浏览全部网页页面。

Disallow:/admin/这儿界定是严禁爬寻admin文件目录下边的文件目录。

Disallow:/require/这儿界定是严禁爬寻require文件目录下边的文件目录。

Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/文件目录下的全部以".htm"为后缀名的URL(包括根目录)。

Disallow:/abc/这儿界定是严禁爬寻abc全部文件目录。

以上就是“seo优化中的robots协议文件怎么编辑？”的相关介绍，希望对大家有所帮助。seo知识网会不定期更新网站建设、网站seo优化、seo工具、seo外包、网站优化方案、网络推广等方面知识，供大家参考、了解，如果大家还想要了解更多这些方面的知识，可以关注和收藏我们seo知识网。