订阅Feed
RSS
评论RSS

前两天Matt Cutts刚刚证实,Google Adsense蜘蛛(Mediapartner bot)所抓取的网页会在Google搜索中出现。Matt Cutts说这只是一个节省带宽开支的手段而已。

由于Google蜘蛛(Googlebot/2.1)所抓取的网站之多和频率之紧密,他们每天需要使用的带宽是巨量的。把Adsense蜘蛛所抓取的网站内容考虑进主搜索引擎中,一定会节省大量的带宽开支。

实际上很多人一直以来都怀疑,Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之间的关系到底是什么?使用Adsense的网站会不会因此更快的被收录到Google搜索数据库?会不会因为使用Adsense而提高或降低搜索排名?

在Google的官方网站中,他们明确指出,Adsense蜘蛛与搜索蜘蛛是完全分开的,而且Adsense的使用完全不影响网站排名,这两者之间毫无关系。而且在Google内部,这两个产品是由完全不同的两个部门来处理的。他们之间并不交换任何资料。

但最近有迹象表明,Adsense蜘蛛所抓取的网页结果出现在搜索结果中。比如Jen注意到,在搜索结果中出现的网页快照时间与服务器日志文件中Adsense蜘蛛访问的时间完全吻合,而不是Google搜索蜘蛛访问的时间。

还有人在网页上检测访问的是不是Adsense蜘蛛,如果是Adsense蜘蛛,就会返回一个改写过的网页。结果发现,在搜索引擎当中网页出现了两个版本。也就是说,搜索蜘蛛和Adsense蜘蛛的网页结果都出现在搜索结果中,造成了复制网页。

我自己以前也注意到,Adsense蜘蛛至少对网页收录有影响。记得有一次在做一个全新网站的时候,我从其他网站上直接复制代码到新网页。这段代码里含有Adsense码,我忘了删除。新网站设计好后,我上传网页,然后自己看了一下,当然Adsense广告也出现在网页上。随后我把Adsense码删除掉。

这个新的网站没有任何导入链接,我也没有向任何地方登录,完全是一个试验性质的网站。但不久,网页结果出现在Google搜索中。

Google Adsense蜘蛛所抓取的网页会出现在Google搜索结果中,对网站建设者有什么影响呢?第一,我想给我们的最重要的暗示是:千万不要试图使用隐藏网页技术(cloaking),也就是当Google蜘蛛来访问时,给它经过优化的版本,当普通访客来访时,给他另外一个版本。Google完全可以发出没有Google标志的蜘蛛来检测这种手段。

实际上,Google Adsense蜘蛛的标志和搜索蜘蛛就不一样。如果你给这两个蜘蛛不同的网页内容,你的网站就会造成复制内容网页,从而排名被惩罚。

第二: Google Adsense蜘蛛对排名是否真的没有影响,我们需要做更多的测试才能肯定。

作者: Zac@SEO每天一贴
原载: 中新国外服务器
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

收藏本页到:
365Key | del.icio.us | | 添加到雅虎收藏+


18 条评论 “Google Adsense蜘蛛抓取的网页在搜索中出现”

  1. 鸟山鸣888 says:

    为什么Google Adsense的流量会比Google bot的少这么多呢

  2. designer says:

    您认为Google Adsense,GOOGLE TOOLBAR,Googlebot,以及Google Analytics之间的数据是否有通道?

  3. Zac says:

    我觉得是有通道的。

  4. pksell says:

    复制内容网页排名会被惩罚,好可怕,赶快删掉多余的页面了。哈哈

  5. 仙妮蕾德 says:

    非常专业的文章,ZAZ,我支持你!!

  6. 蜘蛛抓取的网页的周期是多少

  7. [...] 这里要引用的是:在ZAC的“Google Adsense蜘蛛抓取的网页在搜索中出现”一文中有这么段话 由于Google蜘蛛(Googlebot/2.1)所抓取的网站之多和频率之紧密,他们每天需要使用的带宽是巨量的。把Adsense蜘蛛所抓取的网站内容考虑进主搜索引擎中,一定会节省大量的带宽开支! [...]

  8. redleaffly says:

    AdSense 抓取工具不同于 Google 抓取工具
    这两种抓取工具相互独立,但却共用一个缓存。我们这样做是为了避免两种抓取工具抓取相同的网页,从而帮助发布商节约带宽。同样,Sitemaps 抓取工具也是独立的。

    GG帮助中明确说了是共用缓存的,所以adsense抓取的网页是会出现在搜索结果中的!

  9. 看了这篇文章,我有收获了,我要考虑使用Google Adsense,但听说申请很烦琐的!!

  10. GOOGLE对我网站的收录越来越慢了..怎么回事~!~

  11. 山东seo says:

    应该是产生了数据交换。

  12. 老欧SEO says:

    请问一下Zac每六段开头的”还有人”链接的网址有没有什么含意呢?

  13. Zac says:

    老欧SEO: 感兴趣的读者可以点击去看什么人,说了什么。正常引用,没什么特殊含义。

  14. 老欧SEO says:

    哦!谢谢Zac的回复!!

  15. smry says:

    那google抓取的时间周期是怎么样的呢?还是没有固定周期。我的站google访问首页的时间每两次之间都会隔很长。一般为半个月左右。这正常吗?
    http://www.gfreeweb.cn

  16. 周易 says:

    哦!谢谢Zac的回复!!

  17. yafan99 says:

    哈哈!今天抓蜘蛛的程序抓到了google adsense的蜘蛛。过来看看说明,谢谢站长!

  18. gg作为老大 拥有大量资源 在她房檐下混 还是小心些为好 呵呵

发表评论