服务器robots配置GEO

正确设置服务器上的robots.txt文件，并确保其可被百度爬虫正常读取，是控制网站抓取与收录的最直接手段，也是SEO优化的基础环节，robots.txt 在百度SEO中的角色爬虫访问网站时,第一件事就是请求robots.txt，如果服务器返回错误或文件配置不当，很可能导致爬虫无法抓取核心内容，甚至误封整个站点……