robots.txt文件常用规则

■禁止任意搜索引擎访问网站任意内容
User-agent: *
Disallow: /
 
■允许任意搜索引擎访问网站任意内容
User-agent: *
Disallow:
 
■禁止任意搜索引擎访问网站指定内容
User-agent: *
Disallow: /admin/

Copyright © 2024 码农人生. All Rights Reserved