1. 可以使用站长平台的robots.txt文件生成文件，工具链接：http://tool.chinaz.com/robots
PS:有特殊需求，例如需要限制某个页面不被收录，可以在工具中设置限制目录。
举例：
例一："Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。
例二："Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。
2. 将TXT记事本，上传到网站根目录中。
