robots文件用于指定spider在网站上的抓取范围，在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源。