之前一直使用All in one SEO pack,也一直知道这个插件的优缺点,这段时间在家没事,就索性卸载了插件,不但效率高起来了,后台主题列表也一下子清爽了许多,之后通过修改代码处理了title、description等,将近半个月时间过去了,Google、百度的收录还算稳定,但是在Google、百度的搜索结果中就是不出现关于、链接等页面的收录。

开始一直以为是因为最近设置了robots.txt屏蔽tag和归档页的收录,屏蔽了相关的收录,使用Google的在线管理平台测试也是通过的,没有任何问题,设置了robots.txt屏蔽后也确实不少不希望收录的页面收录受到影响,但在Sitemap.xml里面出现的网址很多是robots.txt里面所不允许的,这样就出现了Google站长平台的警告,详见《不要让你的网站Sitemap误导了Google蜘蛛》。

修改了Sitemap.xml的相关生成选项,警告是没有了,但还是迟迟不见关于页等出现在搜索结果中,今天细条相关参数,终于发现了问题,原来在关掉All in one SEO pack之后,曾尝试性的在模板的meta里面添加了<meta name=”Googlebot” content=”noindex,follow”/>项,为了避免首页和文章也收录受影响,通过php判断语句根据不同条件选择是否打印此meta值,而条件只有!is_single()和!is_home(),这样以来,我希望收录的分类目录页和关于页等页面都会出现<meta name=”Googlebot” content=”noindex,follow”/>,对于百度,可能是反应慢的结果,但对于Google,这却是条严格的限制。

查了资料,好像现在完美支持meta的抓取限制的搜索引擎没几个,而Google就是其中之一,虽然没有了Sitemap.xml与robots.txt的冲突,但却出现页面meta不允许抓取,这样,还是不会出现在搜索结果中的,所以说,屏蔽Google蜘蛛还需留意meta形式的noindex,如果你设置了meta来屏蔽,就要保证你的判断全面一点,这样才能够保证需要收录的页面都能够收录。

对于修改meta后的生效时间,暂时未知,小子也是刚刚修正过来,等待生效中,不过,在没有必要的情况下,如果设置了robots.txt,把相关的meta取消也是一样的。毕竟实现的都是一个效果而已,何必多此一举呢?当然,这里小子只是为了测试,所以另当别论了。