一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?
工程师解答：Baiduspider目前(2016年10月)在robots里是不支持中文的。
同学追问：那我们进行UrlEncode编码会不会支持呢?比如这种：
工程师解答：robots文件支持这种写法。但是否生效，还要取决于当时BaiduSpider抓取的是哪种形式结构的链接，如果是UrlEncode编码就可以生效，如果是中文就非常不幸了。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
今天大概总结一下：首先说明一点：每天百度派出的蜘蛛是有限的，robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！
当我们的网站上线之后，一定会有一些不想让百度抓取的页面、文件，针对这种问题，我们就要使用协议去屏蔽。那么这个协议是什么？究竟怎么写这个协议呢？
曾庆平SEO在前面的文章中讲过robots.txt概念的时候，留下一个问题：为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt：http://www.xxx.com/robots.txt这样做的目的是，让搜索引擎看来网站更规范和权威。
如果以上都没有错误，那么你就要检查你的CDN了，很可能是因为CDN缓存而造成的，或者是你配置了https，而站长平台却绑定的http，无法访问，这两点自己排查，如果以上都做到，那么是不会提示这类错误的，当然也不排查百度站长平台本身的问题，不过这种机率性很小。
