小米技术社区
小米技术社区管理员 关于小米

27岁,山西运城人,职业电商经理人,前端开发工作者,从事过网站建设、网络推广、SEO、SEM、信息流推广、二类电商、网络运维、软件开发,等相关电商工作,经验较为丰富,小米技术社区致力于为广大从事Web前端开发的人员提供一些力所能及的引导和帮助 ...[更多]

E-mail:mzze@163.com

Q Q:32362389

W X:xiaomi168527

小米介绍

小米技术社区大牛王飞 关于王飞

27岁,山西运城人,职业电商经理人,网络工程师兼运维,从事过运营商网络建设,企业网络建设、优化。数据中心网络维护等通过,经验丰富,座右铭:当自己休息的时候,别忘了别人还在奔跑。 ...[更多]

E-mail:wf_live@126.com

Q Q:3940019

微博:王小贱ss

小米技术社区设计小艳 关于小艳

大于花一样的年龄,河南郑州是我家,2010年在北京接触团购网,2011年进入天猫淘宝一待就是四年,如今已经将设计走向国际化(ps:误打误撞开始进入阿里巴巴国际站的设计,嘿嘿)五年电商设计,丰富经验,从事过天猫淘宝阿里各项设计,店铺运营,产品拍摄;我将我的经历与您分享是我的快乐!座右铭:越努力越幸运! ...[更多]

E-mail:97157726@qq.com

Q Q:97157726

标签云
精品推荐
  • 导致网站被搜索引擎降权的原因有哪些?

    导致网站被搜索引擎降权的原因有哪些?

    最近有个朋友的网站突然降权了,并且之前的排名和销声匿迹了,让我帮他分析原因,于是我总结了一下几点:  1、是否存在大量垃圾外链,或者外链大量被删除  如果大量外链被删了,代……
    194人已经看过了
  • 百度云加速CDN到底用不用?SEOER和站长必看

    百度云加速CDN到底用不用?SEOER和站长必看

    “百度云加速-快到让你的网站飞起来”,看到云加速官网这样的广告语忍不住想笑,本人用百度云加速从15 16年刚出的时候就开始用了,因为本人是百度控,对百度系旗下的所有产品都保持……
    248人已经看过了
  • 百度蜘蛛Spider会优先抓取什么样的网站

    百度蜘蛛Spider会优先抓取什么样的网站

    做为SEOER我们应该知道百度蜘蛛的喜好,它会优秀抓取哪些网站的内容呢?在深圳Baiduspider3.0主题的高端沙龙中,百度官方给出了这样的答案:抓取模型的侧重点:1、网站更新频率:经常定……
    236人已经看过了
您的位置:首页 > 前端开发 > SEO > SEO分享

网站收录狂掉,被K,蜘蛛抓取失败【返回HTTP头是 HTTP/1.1 040】的解决方法

分类: SEO分享3个赞

网站一直纯原创更新,建站5年来百度收录一直稳中有升,但是这1个多月来收录一直在网下掉,目前收录仅剩2个了,之前可是500个啊?但是除了百度去别的搜索引擎看又是正常的收录,同IP服务器下的其他网站收录正常呀?

以下是解决问题的思路:


排查问题1:难道百度抽风了或误杀,或者阶段性收录调整问题?

解决方法:继续观察7-15天  

结果:10多天后继续查看,网站被K的问题依旧没有解决,收录下降到只有2-3个了


排查问题2:网站环境出问题了?

可能的原因:经过百度站长工具发现,网站在2月初九已经出现下滑趋势,蜘蛛来访数下降了十几倍,那个阶段确实对网站做了一个比较大的变动,就是用了cdn,

难道是cdn的问题?但是同服务器下的另一个网站收录一切正常,他们都用了cdn呀,排除了CDN问题,去服务器环境看看,又发现收录正常的网站和不正常的网站设置完全一致,

难道是站长平台的问题?


排查问题3:百度站长平台排查

解决方法:一个一个对比设置,终于发现了点端倪,收录不正常的站点入场了百度站长工具的 HTTPS,而收录正常的没有入!

进一步分析蜘蛛模拟爬取发现,收录不正常的网站蜘蛛全站爬取失败!

百度站长工具HTTPS进场

网站被K,百度蜘蛛抓取失败

疑问:莫非这个和https有关?虽然可以很大程度的断定和HTTPS有关,可是两个网站都是https啊

在模拟抓取返回的报错里面返回HTTP头是 HTTP/1.1 040 ,040是个什么报错?正常抓取成功的应该是200


报错显示HTTP/1.1 040



看到这里 豁然开朗

客户端--(https)--CDN--(http)--服务器

我的网站环境是https部署在cdn上,搜索引擎回源用的是http协议,因为我入场了百度站长工具的https,所以当蜘蛛抓取后,用https的协议回源抓取的,导致抓取失败

这也对上面说的同服务器下的另一个网站没问题的原因做了解释,因为他没入场https,本来就是用http抓取的,所以正常


知道了问题症状的所在,那么解决这个问题其实是有2个方法:


  1. 退场百度站长工具的https     简单粗暴

  2. 在服务器上也部署https,并把cdn的回源协议换成https,这样再次抓取会成功

网站被K问题解决,蜘蛛抓取成功

小米技术社区