解决Googlebot的DNS解析错误

提醒:本文最后更新于 3794 天前,文中所描述的信息可能已发生改变,请仔细核实。

昨日发现谷歌站长最近一直出现提示说“Googlebot 无法访问您的网站”。见图:

问题的出现也就是前个星期起,断断续续的有时会出现与服务器断开联系的提示。我也没在意,毕竟服务器在外国么,人在国内,总会遇到这种事的。但是,连Google都提示了,貌似就不大对劲了。在12月10号开始,Dnspod也是发来消息称服务器无法访问。使用了站长之家DNS检测,很多无记录,当然有些是因为测试点挂了而提示,但未免太多了。

详细见图,服务器连接是正常的,但是DNS解析出错,robots.txt无法抓取:

于是特意修改了VPS的DNS记录,改为OpenDNS,之前一直用Google的DNS。但Googlebot-Fetch一样提示“Googlebot 无法访问您的网站”。

检查了Nginx的access.log,一切robots.txt或其他相关的都是200正常。并未有异常。但我还是做了重启VPS,清空缓存的操作。不过同样无解。

再者,在谷歌站长,设置新的目标地理区域为中国,抑或是美国,同样的,问题依旧。

最后删除Dnspod,重新解析,一样不行,这时,发现了我的A记录的@是启用了D监控的,默认TTL为10,相对较低。便将其设置为600,没想到立竿见影,效果显著,立马Googlebot-Fetch提示成功,并可添加至索引。为保险起见,我有做了几番测试,最后证实确实调整TTL有特效。看来广域网互联终究没局域网专线互联好啊,当然啦,对于我们来说,也承受不起和没必要。

因为域名解析的IP不经常变动,于是就大胆将TTL值设置成86400了。现在正常的话,应该不会存在任何问题了。Googlebot-Fetch的测试已经是成功的了。虽然不知道能撑多久,不过还是暂时用着试试,观后效,如果没问题,应该是没问题。

另外问了Roy,说是怀疑是出口路由崩溃,国际线路全部都有问题,连香港都丢包。

真是麻烦,如果有这种情况的朋友,不妨试试调整TTL,希望有帮助。

下面图片是Googlebot-Fetch的测试结果:

最后丢一张,重启前的Opcache缓存状态:

转载请注明转自:kn007的个人博客的《解决Googlebot的DNS解析错误