Comments on: 搜索引擎统一Robots文件标准

By: 4399小游戏

4399小游戏 — Sat, 14 Feb 2009 02:58:50 +0000

学习了，刚才还在做rebots文件

SEO — Sun, 16 Nov 2008 02:53:21 +0000

挺详细的，复习了一次

周易 — Tue, 30 Sep 2008 01:46:46 +0000

淘宝不让抓取了

拎壶笑虾 — Sun, 21 Sep 2008 19:07:05 +0000

请教Zac兄和各位看官：只允许google和百度抓取，而阻止其他所有蜘蛛抓取，如何写？这样行吗:)：
User-agent: Googlebot
Disallow: /
allow: /archive/
allow: index.php
allow: sitemap.php

User-agent: Baiduspider
Disallow: /
allow: /archive/
allow: index.php
allow: sitemap.php

User-agent: *
Disallow: /

YIKER — Thu, 11 Sep 2008 16:57:52 +0000

淘宝—–牛。就喜欢淘宝的个性。马云，好样的。

暖气片 — Wed, 10 Sep 2008 02:38:41 +0000

淘宝不让抓取了

胖乎乎的坛子 — Thu, 14 Aug 2008 07:49:43 +0000

直接使用官方提供的。。呵呵。

广州网站建设 — Fri, 08 Aug 2008 01:57:14 +0000

没什么用

alone — Tue, 24 Jun 2008 13:59:12 +0000

好文章收下了

KYW — Tue, 24 Jun 2008 07:25:22 +0000

这篇真好！