txt 禁止CDN抓取

在网站优化和服务器管理的实践中,内容分发网络（CDN）已经成为提升网站访问速度、增强用户体验和保障源站稳定性的标配工具，通常情况下，我们希望搜索引擎的爬虫，如百度蜘蛛，能够优先抓取CDN节点上的缓存内容，因为这样效率更高，在某些特定场景下，网站管理员可能出于内容同步、特殊SEO策略或调试目的，需要引导百度蜘蛛直……