Tool · ROBOTS
robots.txt 生成器
robots.txt 是最容易被写错的文件:多一个斜杠,整站就可能从索引里消失。用这个生成器先得到一份安全的基础版本,再按需追加规则。
使用提示
- 不要用 robots.txt 屏蔽 CSS/JS,爬虫需要它们来理解页面。
- 要阻止页面被索引,用 meta robots 的 noindex 更可靠。
- robots.txt 是公开文件,别在里面写后台真实路径。
robots.txt 是最容易被写错的文件:多一个斜杠,整站就可能从索引里消失。用这个生成器先得到一份安全的基础版本,再按需追加规则。