Google网站地图Sitemap与搜索引擎优化

Google网站地图(sitemap)是Google提供给网站管理员的一个工具,来提高网站被收录的网页数目。

一般来说,搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候,由于种种原因,并不是所有网页都能被收录进搜索引擎数据库。比如说,你的网站是数据库动态生成的,URL中带有参数,一些网页离主页太远,你的网站PR值太低,新的网页可能过很长时间才有机会被抓取等等。

Google Sitemap就允许站长上传给Google一个网站地图,列出你所有需要被抓取的网页及重要性级别。据很多人证实,Google网站地图确实能提高被Google收录的网页数目,而且似乎Google每天都会抓取sitemap的内容。

所以如果你有新的网页,或你的网站内容更新比较快,Google网站地图是一个很好的通知Google的工具。

不过我在这里想和大家分享几个Google Sitemap用于搜索引擎优化的心得。

第一,像前面说的,当然最重要的是,使你的网页被收录的越多越好。因为我的网站没有收录问题,所以我也没有提交网站地图。但据朋友说,这个功能确实很好用。如果你的网站有很多网页没有被收录的话,应该试一下。

第二,在Google网站地图管理界面中,你可以看到Google是否惩罚了你的网站。像在以前提到的,Google会通知一部分被惩罚的网站站长。我感觉这是一个最重要的必须要使用Google Sitemaps的原因。虽然这个功能最好永远用不上。

第三,Google网站地图管理界面Diagnostic(诊断)部分,你的网站在被抓取的时候,如果有什么问题都会被列出来。比如说URL错误,404错误,服务器宕机等等。在HTTP错误中,可以看到有哪些URL是有问题的,这样可以及时解决网站上的技术问题。

第四,Diagnostic部分也提供了一个robots.txt文件检测工具。很多时候我们不希望搜索引擎来抓取某些目录或某些文件,用robots.txt文件是一个标准方法。但如果这个文件写的有问题,可能会造成搜索引擎完全不能爬行你的网站。你可以用这个Google Sitemaps检测工具测试某一个目录或某一个文件是否被排除在搜索引擎之外。

第五,在Google网站地图Statistic(统计资料)部分,有很多非常有用的信息。

比如搜索统计(query stats)。Google会列出用户在找到你的网站时,使用的是什么关键词。在这个关键词下,你排名第几(top search queries)。在这个关键词下,你又得到了多少点击(top search query clicks)。虽然你可以从服务器日志文件中得到同样的资料,但Google在他的界面中,已经非常清楚的列出了这些信息,非常好用。

你可以从关键词统计信息中,清楚的看到你的目标关键词表现怎么样,你的标题标签写的怎么样。

第六,我觉得最重要的一个统计信息就是这一点,在网页分析统计(page analysis)栏目下,Google列出了Google所认为的你的网站与哪些关键词最有关(In your site’s content)。同时列出了在Google的数据库里面,你的反向链接都是使用哪些关键词做链接文字的(In external links to your site)。

左栏In your site’s content是在Google眼中,你的网站是谈论什么的,你的网站主题是什么。如果Google列出的这些关键词与你真正的网站主题有所偏离的话,很显然你需要修改你的网站内容,重写网站文字。

举个例子,对我的博客来说,Google列出的关键词是:网站,Google,搜索引擎,网页,排名,优化,链接,SEO,研究,等等。当然后面也列出了一些不太相关的,比如爸爸,这和中文分词的不准确有关。因为我的博客里从来没谈爸爸,而是在谈大爸爸数据中心。不过无论如何,这个信息非常重要。

而右栏In external links to your site显示在Google数据库中,反向链接所使用的链接文字。 我们都知道反向链接是Google排名和所有搜索引擎排名算法中非常重要的一环。而链接文字从两年前开始,变得越来越重要了。从Google所列出的外部链接的情况,你可以知道其他网站是怎样链接到你的网站的。而这些链接文字所形成的主题在很大程度上影响Google所认为的你的网站的主题。

比如说,我的这个博客的反向链接所出现的链接文字最多的是:SEO每天一帖,Google,搜索,虚拟主机,域名注册,电子邮件。很明显很少其他网站用”搜索引擎优化”来链接向我的博客。这也就难怪在 Google中,如果你搜索搜索引擎优化,我的这个博客目前根本找不到。

一般来说,你应该尽可能的使其他网站使用你最重要的关键词来链接向你。Google列出了你的链接当前效果怎么样,你也就知道了应该努力的方向。

网页分析统计(page analysis)是我觉得Google网站地图最有用最有意义的。

------首次发布日期: 2006年06月9日

作者: Zac
版权属于: SEO每天一贴
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。



34 条评论 “Google网站地图Sitemap与搜索引擎优化

  1. 请教:
    搜索反馈回来一些404(无法找到)是否和网站上没有 robots.txt 文件有关?网站没有需要谢绝访问内容的情况下,是否也要放个空的 robots.txt ?

  2. Zac:你好!有个问题请教,请问如果自动生成的sitemap里面有好多404的页面,如:十几万的页面里面有几千404的页面,google会因为有这些404页面而惩罚整个网站吗?会不会对网站的排有影响?

  3. jason: 应该和robots.txt 文件没关系,不用放空的robots.txt,当然放也无妨。如果你的站没变化,传给google的sitemaps不用动,如果加了新页当然要更新。

    Kyle: 不会惩罚整个网站,但可能有其他影响比如复制内容。

  4. Zac:你好!如果一个大网站,比较成熟的,而且PR是7,收录的内容也不少.像这样的网站你认为还有必要做sitemaps吗?
    如:www.esmchina.com

  5. Pingback: SEO实验·3
  6. 问一个不专业的问题,google站点地图,只是针对google的爬虫吧,如果想让百度的爬虫也完全收录自己网站的内容,这个google sitemap就没用了吧???

  7. Dear Zac:感謝提供許多寶貴的經驗,想請教,第四,Diagnostic部分也提供了一个robots.txt文件检测工具….的部份,提及若文件有問題,可能造成搜索引擎完全不能爬行網站!現在我遇到了這個問題,robots.txt 是依標準形式撰寫,但自從Google下載robots.txt之後,就停止檢索我的網站,提交Sitemaps時,也出現了「無法存取 robots.txt 」,網頁檢索錯誤中的「無法連上的 URL」數目持續增加!

    我使用robots.txt文件检测工具,檢測無法連上的 URL的目錄與檔案是完全正常且允許,重新修改robots.txt,隔了很多天,搜索引擎也完全不能爬行網站,即使刪除了很多天,使用Google Sitemaps检测工具测试,仍然出現「無法存取 robots.txt 」,不知道站長有沒有什麼建議?非常感謝您!

  8. 我在ftp上放了.htaccess文件,里面放了一条404跳转代码,上传google验证文件,竞然验证失败,拿掉.404跳转,验证成功…空间是支持.htaccess文件的…郁闷啊….

  9. 如果网站上有多个子域该怎么处理?可以在主站的SITEMAP上上把子域放进去吗?GOOGLE会不会把子域当作外站从而受到影响?还是要分开每个域做一个sitemap?

  10. 我们更新了sitemap, 可是依旧抓取的404 错误(找不到),这些是下架的产品呀, 从网站后台已经删除掉了, google还是列出来了,怎么回事呀

留个言呗:

您的邮箱不会被显示在页面上。标有*的是必填项。