小米技术社区
小米技术社区管理员 关于小米

27岁,山西运城人,职业电商经理人,前端开发工作者,从事过网站建设、网络推广、SEO、SEM、信息流推广、二类电商、网络运维、软件开发,等相关电商工作,经验较为丰富,小米技术社区致力于为广大从事Web前端开发的人员提供一些力所能及的引导和帮助 ...[更多]

E-mail:mzze@163.com

Q Q:32362389

W X:xiaomi168527

小米技术社区大牛王飞 关于王飞

27岁,山西运城人,职业电商经理人,网络工程师兼运维,从事过运营商网络建设,企业网络建设、优化。数据中心网络维护等通过,经验丰富,座右铭:当自己休息的时候,别忘了别人还在奔跑。 ...[更多]

E-mail:wf_live@126.com

Q Q:3940019

微博:王小贱ss

小米技术社区设计小艳 关于小艳

大于花一样的年龄,河南郑州是我家,2010年在北京接触团购网,2011年进入天猫淘宝一待就是四年,如今已经将设计走向国际化(ps:误打误撞开始进入阿里巴巴国际站的设计,嘿嘿)五年电商设计,丰富经验,从事过天猫淘宝阿里各项设计,店铺运营,产品拍摄;我将我的经历与您分享是我的快乐!座右铭:越努力越幸运! ...[更多]

E-mail:97157726@qq.com

Q Q:97157726

标签云
精品推荐
  • 导致网站被搜索引擎降权的原因有哪些?

    导致网站被搜索引擎降权的原因有哪些?

    最近有个朋友的网站突然降权了,并且之前的排名和销声匿迹了,让我帮他分析原因,于是我总结了一下几点:  1、是否存在大量垃圾外链,或者外链大量被删除  如果大量外链被删了,代……
    318人已经看过了
  • 百度云加速CDN到底用不用?SEOER和站长必看

    百度云加速CDN到底用不用?SEOER和站长必看

    “百度云加速-快到让你的网站飞起来”,看到云加速官网这样的广告语忍不住想笑,本人用百度云加速从15 16年刚出的时候就开始用了,因为本人是百度控,对百度系旗下的所有产品都保持……
    327人已经看过了
  • 百度蜘蛛Spider会优先抓取什么样的网站

    百度蜘蛛Spider会优先抓取什么样的网站

    做为SEOER我们应该知道百度蜘蛛的喜好,它会优秀抓取哪些网站的内容呢?在深圳Baiduspider3.0主题的高端沙龙中,百度官方给出了这样的答案:抓取模型的侧重点:1、网站更新频率:经常定……
    366人已经看过了
您的位置:首页 > 前端开发 > SEO > SEO分享

国内外各大搜索引擎索引量和收录响应速度以及sitemap抓取速度评测

分类: SEO分享48个赞

最近因工作需要,有大量的新网页产生,大约5W条数据,等着搜索引擎主动抓取,可能黄花菜都要凉,所以整理了sitemap,然后向各大搜索引擎提交。趁着这个机会做一次各大搜索引擎对sitemap的抓取速度以及收录的释放速度进行评测。


一共提交了7个搜索引擎。

国内5个提交的这个搜索引擎百度、360、搜狗、神马、今日头条。

国外2个必应、谷歌。

众所周知,这些搜索引擎都是非常常见的搜索引擎。已经蕴含了国人97%的搜索场景,以半个月的时间为观察期,还是有一定的参考性。


一、sitemap网站地图抓取速度

通过持续半个月的跟踪对比发现,各大站长平台反应最迅速的不是国内的各大搜索引擎,而是国外的。

基本在提交半小时后bing和谷歌。都已经抓取到了网站sitemap的数量。如下图:

bing抓取:

bing站长工具对sitemap的抓取响应速度超快

谷歌google抓取:

谷歌站长工具抓取速度快



百度隔天才去抓取,显示出了sitemapURL的数量。

百度站长平台隔天区里sitemap

360到是给力,半小时内也出结果,但是数量一直为零。这是唯一一个有结果但是出0的搜索引擎,一开始以为360站长平台有自己的规范,我的sitemap不符合人家的?后来才发现不是的

解决360抓取url数量为0的解决方法请详细看: 360站长平台提交站点地图sitemap.xml抓取的url数量为0的解决方法

360站长平台抓取sitemap显示url为0

搜狗的sitemap是邀请制,想要开通,需要向搜狗管理员申请发邮件申请,但是可以提交url,我直接提交了sitemap的url,因为没有权限,所以搜索的sitemap就不做说明了。


UC神马的则到现在都没有动静。显示暂未处理,都半个多月了,怀疑UC的网站事业部还存不存在?

UC站长平台抓取sitemap一直处于待更新状态


经过各大搜索引擎对sitemmap.xml处理的速度发现

谷歌=bing>今日头条=360>百度>UC神马,搜狗因没有权限不做排名,且各大搜索引擎都对sitemap有一定的限制,通用限制是sitemap文件不能超过10M,包含的url不能超过5W条,经过实操才发现,基本数据到26000条的时候就超10M了,所以分为多个sitemmap分别提交。

对于各位中小站长这里要提一下,如果服务器带宽不是很给力,尽量越小越好,一个10M的文件,各大搜索引擎都去你网站抓,如果你服务器是5M的带宽,1个10M文件全速下载也需要10*1024/512=20S,20S啊,还只是一个搜搜引擎的抓取时间,如果你的服务器带宽是1M呢?况且真实的网站下行环境要远远不如这个理想化值,所以建议把sitemap的大小保持在3M内即可,url数量大概为10000条。如果你带宽足,任性随意!




搜索引擎处理过sitemap了,那么多久根据自己的机制去放出收录页面呢?

二、相信索引量和收录何时放出是各位站长特别关注的问题


先告诉各位站长结果.

bing>谷歌>百度=今日头条=360=搜狗=UC神马


在这半月期间:

1. bing当之无愧的NO.1

bing在隔天即放出了抓取的网页,在7个搜索引擎里堪称疯狂。经过 天线猫网站日志分析助手 发现,bing蜘蛛的来访相比较之前整整提升了300多倍,之前每天也就是200多次,现在竟达到近8W余次。

收录隔天就从1000升到了4000,然后第三天7000,第四天8000,第五天的时候。。因为网站毕竟不是正常更新,短时间大量的新页面产生,暂时被bing观察近小黑屋了,相信很快就会重新放出。

天线猫网站日志分析助手展示的搜索引擎蜘蛛爬取数据

2.谷歌,谷歌是这索引放出来最高的搜索引擎,目前收录已达13000多,之前只有400多,且没有被关沙盒。从上图的日志统计数据也可以看出,谷歌的蜘蛛活跃度达到23760,仅次于bing

谷歌索引量放出来的早,收录一马当先

3.国内的几个搜索引擎响应速度超慢,观察期长,在后台可以看到索引量有小幅度上升,但是在半个月的时间里都没有放出索引,后续会继续观察。

(1)百度  百度对新数据放出来的时间比我想象中的要长,怎么说也是国内数一的搜索引擎,这种速度实在不敢让人恭维,但是他的死链处理相当的快,在这期间提交了死链url,2天内就删除掉不在展现了。对死链处理时效感兴趣的站长可以留言一下,百度每月有1-2次的大更新,希望最近的一次大更新可以有所起色。

(2)360 360收录量从一开始一直维持在1。这半个月内迟迟没有改观。

(3)今日头条  其实一个开始今日头条的sitemap响应时效还是比较让我寄予厚望的,结果也是半个月了依旧没有动静,甚至首页的快照都没更新过。

(4)搜狗  搜狗比360好点,未提交sitemap前抓了十几个网页,提交后除了更新首页快照快一点,新页面没有一点动静。

(5)神马搜索感觉没有一样行的,网站都没收录,我测试的站点都已经上线近5年了。

国内除了百度,上线5年的站点其他收录都是很一般,看到网上各位议论,因为没有百度的壕,服务器资源贵贵滴,所以响应速度慢,放出的页面少,基本上国内大多数站点都是百度的收录>其他搜索引擎。技术是一方面,主要还是没钱啊,抓多了存多了耗费服务器资源,耗带宽呀。


经过此次数据的期间,对各大站长平台有了更深一层次的认识,国外如bing和谷歌切实的从用户体验出发,会给您指出每一个页面的问题,让你可以快速定位和解决,且响应速度超快,用起来得心应手。出现问题各大帮助文档基本都能帮你解决。

国内的各大站长平台普遍响应速度慢,有些甚至无响应,但在一些功能上更贴近于国内用户,表现比较好的有老牌的百度,和新面孔的今日头条搜索,总的来说,希望国内的站长平台,奋起直追,提升响应速度,多贴近用户,功能上不要设置很多的条条框框,任到重远啊,还有很长的路要走。


此文我会持续关注更新,毕竟我们主要关注的是国内搜索引擎的响应情况,半个月内都没有反应,可能还需要更多的时间去沉淀,但是我的预感,百度应该很快就会有起色,让我们拭目以待。


小米技术社区