动力启航logo
公告以ASP.NET(C#)2.0+jQuery技术为中心,面向软件开发者、程序爱好者、网页设计师,专门结合AJAX技术打造友好界面
Tool · ROBOTS

robots.txt 生成器

robots.txt 是最容易被写错的文件:多一个斜杠,整站就可能从索引里消失。用这个生成器先得到一份安全的基础版本,再按需追加规则。

robots.txt


使用提示

  • 不要用 robots.txt 屏蔽 CSS/JS,爬虫需要它们来理解页面。
  • 要阻止页面被索引,用 meta robots 的 noindex 更可靠。
  • robots.txt 是公开文件,别在里面写后台真实路径。