独书先生 Menu

谷歌网址检查 robots.txt 不是最新的

背景

小编最近把网站的移动端界面做了升级,加入了 AMP 功能,目的是提升移动端的浏览体验。但是这一升级带来了很多问题。

首先移动端广告没了(广告是这个小破站运营的根本,望朋友们谅解),其次升级也影响了网站的流量,因为Google Console后台提示了AMP出现一些非严重问题,必需的结构化数据元素有误。

解决

广告问题

广告问题好解决,小编用了一个叫 Ad Inserter 的WordPress插件,也是Adsense官方推荐的,可以同时支持添加PC和AMP广告,很方便。

流量问题

笔者发现流量出问题之后,发现小编并未提交网站的sitemap.xml地址给谷歌,于是找了个SEO插件:All in one SEO,这款插件功能非常丰富,可以给你的SEO打分,自动生成sitemap.xml和robots.txt。

就在设置robots.txt的时候,小编就遇到一个坑了,默认情况下的robots.txt会把所有网址屏蔽谷歌搜索引擎抓取。你的网页是否被抓取可以在Google Console后台的网址检查进行测试

Google Console

于是赶紧把 robots.txt更新了下,改成了全部网页允许抓取,但是Google Console 的网址检查还是提示未加入索引,不允许抓取,界面显示robots.txt识别的还是旧的robots.txt。于是小编找到了一个更新robots.txt的入口

robots.txt测试工具

这个工具可以检测你的robots.txt对网址的屏蔽处理,这里可以提交新的robots.txt给谷歌,主动告诉谷歌我已经更新了robots.txt。随后再去Google Console 的网址检查看看已经可以抓取网页了。

AMP问题

AMP问题网上建议是加LOGO,这个小编确实漏了,于是把favicon.ico下载下来重新传到了dushusir.com/favicon.ico 就可以了,但是还是有问题。网友建议是加缩略图,这个小编一直懒得加,就先没处理了。

总结

以上就是小编升级AMP和使用Google Console的一些经验,如有不足,欢迎一同探讨。

参考