robots.txt
robots.txt是一种在网站根目录下存放的ASCII编码文本文件。它主要用于指示搜索引擎的蜘蛛程序，哪些内容不应该被其索引，哪些可以被索引。为了避免因URL大小写敏感而产生的问题，robots.txt文件名应统一为小写，并放置于网站根目录下。若需要单独定义蜘蛛程序访问子目录的行为，可以将自定义设置合并到根目录下的robots.txt文件中，或使用robots元数据。这个协议并非规范，而是社会惯例。通常情况下，搜索引擎会遵循这个元数据，不索引该页面及其链出页面。
- robots.txt
http://www.robotstxt.org