Allow和Disallow可以一起使用，告诉蜘蛛在某个目录下，大部分不抓，只抓一部分。txt文件时，会出现超时等错误，可能会导致搜索引擎不包含网站，因为蜘蛛不知道robots此外，如果404页面包含一些URL，可能...