之前一直使用All in one SEO pack，也一直知道这个插件的优缺点，这段时间在家没事，就索性卸载了插件，不但效率高起来了，后台主题列表也一下子清爽了许多，之后通过修改代码处理了title、description等，将近半个月时间过去了，Google、百度的收录还算稳定，但是在Google、百度的搜索结果中就是不出现关于、链接等页面的收录。

开始一直以为是因为最近设置了robots.txt屏蔽tag和归档页的收录，屏蔽了相关的收录，使用Google的在线管理平台测试也是通过的，没有任何问题，设置了robots.txt屏蔽后也确实不少不希望收录的页面收录受到影响，但在Sitemap.xml里面出现的网址很多是robots.txt里面所不允许的，这样就出现了Google站长平台的警告，详见《不要让你的网站Sitemap误导了Google蜘蛛》。

修改了Sitemap.xml的相关生成选项，警告是没有了，但还是迟迟不见关于页等出现在搜索结果中，今天细条相关参数，终于发现了问题，原来在关掉All in one SEO pack之后，曾尝试性的在模板的meta里面添加了<meta name=”Googlebot” content=”noindex,follow”/>项，为了避免首页和文章也收录受影响，通过php判断语句根据不同条件选择是否打印此meta值，而条件只有!is_single()和!is_home()，这样以来，我希望收录的分类目录页和关于页等页面都会出现<meta name=”Googlebot” content=”noindex,follow”/>，对于百度，可能是反应慢的结果，但对于Google，这却是条严格的限制。

查了资料，好像现在完美支持meta的抓取限制的搜索引擎没几个，而Google就是其中之一，虽然没有了Sitemap.xml与robots.txt的冲突，但却出现页面meta不允许抓取，这样，还是不会出现在搜索结果中的，所以说，屏蔽Google蜘蛛还需留意meta形式的noindex，如果你设置了meta来屏蔽，就要保证你的判断全面一点，这样才能够保证需要收录的页面都能够收录。

对于修改meta后的生效时间，暂时未知，小子也是刚刚修正过来，等待生效中，不过，在没有必要的情况下，如果设置了robots.txt，把相关的meta取消也是一样的。毕竟实现的都是一个效果而已，何必多此一举呢？当然，这里小子只是为了测试，所以另当别论了。