网站如何设置robots文件规则,WordPress设置robots教程！

对于各位站长来说，无论你建立的什么类型的网站，都要与搜索引擎来互动抓取，而robots.txt文件相当于站长与搜索引擎之间的一个公约，所有搜索引擎一般抓取内容都会按照你robots文件设置的规则来抓取！robots.txt是一个十分重要的文件，它一般都存在于我们网站的根目录，如果没有可以手动创建一个。里面规则我们可以告诉搜索引擎，哪些目录可以抓取，哪些目录禁止抓取，也可以禁止某个搜索引擎抓取你的网站！

以下是两个设置样板，如果看完不知道怎么设置的可以直接复制样板到你网站即可，记得修改下里面的网址！以下规则不止WordPress使用，任何类型的网站都可以使用这个模版，但是需要修改下里面禁止抓取的目录以及网站地址即可！

WordPress设置robots.txt规则样板！

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /author/
Sitemap: https://www.jzbk.net/wp-sitemap.xml

Disallow: /wp-admin/ 比如这个，意思就是禁止所有搜索引擎抓取特定的目录，/wp-admin/ 下面的一些都是禁止抓取的一些敏感目录，不适合展示给公众看的，所以我们直接禁止引擎抓取展示！

Disallow: /?s= 意思禁止抓取网站本地搜索记录

Disallow: /author/ 禁止抓取登录页面以及用户内容

Sitemap: https://www.jzbk.net/wp-sitemap.xml 意思允许所有搜索引擎抓取的内容，以及引导搜索引擎网站可抓取地区位置！

以上就是一个大概的简易WordPress robots.txt规则，复制到你网站，记得把网址修改为你自己的。

允许所有搜索引擎抓取所有内容，不限制任何内容！

User-agent: *
Disallow:

如何禁止所有搜索引擎抓取网站！

User-agent: *
Disallow: /

其他程序网站如何设置，你可以按照上面WordPress的robots.txt规则进行修改即可，把需要禁止的目录添加进去即可，还有网站地图选项，以上规则任何网站通用的！写法其实很多种，具体根据你的需要来即可！百科老王手打原创，希望能帮到更多迷茫的小伙伴！