拒绝蜘蛛协议，又称机器人排除协议或爬虫协议，是一项网站用于告知搜索引擎等网络爬虫哪些内容允许或禁止抓取的行业规范 。该协议通过网站在根目录下放置名为robots.txt的文本文件来实现，文件中包含以User-agent、Allow、Disallow等指令编写的规则 。
该协议由荷兰软件工程师Martijn Koster于1994年创建，并于2022年9月被正式规范为互联网标准RFC 9309 。在中国互联网行业，该协议被视为公认的商业道德，并曾作为法律依据用于判定网络爬虫相关的不正当竞争行为 。
想要了解更多“拒绝蜘蛛协议”的信息，请点击：拒绝蜘蛛协议百科
