关于抓取频率,百度推出站长工具后就一直有这个功能。但是这个功能,大部分只能看,没办法直接调整什么。另外如果网站没达到那种规模,就算你能手工调整,也没多少价值。
关于抓取频率:
百度抓取频率图,基本上在每天10-30的次数,并不算多频繁。门户网站应该能达到上百万的级别。我们操作过的一个门户站点,就有数十万级别。
抓取频率说是可以手工调整,但是百度算法已经对每个站点分配好了抓取总配额,就是说你调整的抓取配额不能超过算法给的总配额。
这个是百度算法给与seo学堂的抓取配额,每天的次数是104次。官方的说法是每个月会调整下这个抓取配额。这个抓取配额给与的数值越大,越有利于网站的数据收录,网站数据会被收录的越快。
但是各个不同类型的网站之间抓取配额肯定还是不一样的。企业网站有企业网站等级的抓取配额。门户网站有门户网站的抓取配额。
如果你负责的是一个门户网站,那可能本身这个数值就非常大了,因为门户网站每天都有很多内容更新上来,搜索引擎会给与更高的抓取配额。
如果是一个行业平台,从0开始优化网站的收录,提高网站的抓取配额,就比较苦逼了。我们就做过这个事情。
我们之前接手过一个小行业平台项目,每天更新的内容量级不高,在几十篇内容。我们接手后,还是花了大半年的时间来提高内容的投放,逐步逐步增加内容投放量,内容投放量的加大就能够提高这个抓取配额的数值。通过接近一年的时间,把抓取的配额提高了每天10万的级别。
结果就是网站每天被百度收录5万多的页面,网站的收录整体提升到了2000万的收录总量。
抓取频率的高低是收录量能不能大量提升的一个前提。因为只有搜索引擎蜘蛛程序来访的更加频繁了,才有可能让更多的内容被搜索引擎收录。但如果要提高抓取频率,那就得有能够生产大量内容的能力了。所以,就又回到了内容本身这个问题上来。
抓取频率的高低意味着很多问题。例如我们平时做的一些改动,例如改了标题,需要等搜索引擎刷新了数据才有用。如果抓取频率很高,我们的一些改动,就能够很快的被搜索引擎响应。
如果抓取频率很低做了一些改动,可能1个月时间搜索引擎都没改。这就很耽误事了。所以抓取频率不仅仅只是对提升收录有用,对其他方面也还是有比较大的关联。
目前看要优化提升抓取配额,就只能是多更新内容。