google 的良苦用心：网站管理员工具

国平 发表在 SEM工具 于 2009年,十月 24th | 87 个回复

2005年的google做了大量的调整，因为到了05年，很多SEO的方法慢慢泛滥了起来。同时很多网站主对google如何对待他们的网站一直没有明确的途径去了解。google应对这个局面的方法非常的开放，也非常聪明，就是希望和网站主达成一种双赢的局面。所以有了google webmaster tools （网站管理员工具）这个工具。

这个工具从推出到现在，经历了很多次的增增减减，它努力追求让这个工具越来越对站长有利。一直以来，我都看到很多人对它的认识还不够深刻，所以单独来讲一讲这个工具是很有必要的。

《利用Google Search Appliance 服务器做SEO》一文中，我曾经说：“会把GSA后台的操作也讲述一下。到时候你会对google webmaster tool这个工具有更深一层的理解。”  GSA就是一台把google整个硬件和软件打包在一起的服务器。这台服务器就是一个小型的google搜索引擎，它以前的版本的名字就叫 google mini , 能形象的说明这个服务器的性质。

黄色的是GSA，蓝色的是google mini

黄色的是GSA，蓝色的是google mini

 

现在我就把GSA后台的截图发出来，大家一定能发现点什么。

GSA后台

GSA后台

这个后台对很多人来说一定有似曾相识的感觉，因为在google webmastel tools里，不光界面和这个相似，里面的很多功能其实都已经有了。

google webmastel tools的前身是google sitemaps，以前主要的用途是让网站主解决爬虫的抓取故障和提交sitemap。这两大功能其实只解决了google爬虫抓取的局限性，这主要只解决了google自己的问题。而那时SEO越来越流行，很多网站甚至用作弊的方法来做SEO。大家这么忙活，无非是想从google上面多拉一点流量，这个是广大网站主需要解决的问题。

本来，SEO看起来和搜索引擎是矛盾的。百度对SEO的认识就是这样，所以它仇视SEO，把自己和很多做SEO的网站主搞得处于对立的局面。

但是google不这么认为的。因为搜索引擎需要大量的网站来供应内容，它的期望是内容主次分明，越优质越好。而网站主希望能从搜索引擎获取流量，期望值是流量不光越多越好，还要越匹配越好的。那两者之间其实可以达成双赢的局面。

我做了很多年SEO，虽然从google获得了大量的流量。但是也越来越发现我是在给google打工的。因为我把一个网站的结构理顺了，把重要的内容突出了，google就知道了我网站有些什么内容，也知道了这些内容中的重点。这样，至少在判断我这个网站讲了什么内容的时候，google是很有把握的。而当很多网站都这么做的时候，google的内容质量整体就上升了一个等级。用户从google搜索到的内容更符合他们的需求了。同时，网站主凭借着主次分明的内容拿到的流量也是匹配网站主需求的优质的流量。

google从一开始就会这样说：“好吧，网站主，既然你想得到你想要的流量，那你提供相关的内容给我。你如果不知道什么是相关的内容，那么我来告诉你，还告诉你怎么来突出重点。”

所以《google网站质量指南》里的几百篇文章，以及google webmastel tools都是来告诉你要如何提供什么内容给搜索引擎。在我看来，google webmastel tools是google提供的最好的SEO工具，里面的每一个功能都是和SEO相关的，google在里面告诉你了要如何做SEO。

GSA的硬件和google现在用的服务器是一样的，包括传说中的自带电源和从没向外界说过的几公斤重的散热片。

google的专利-自带电源

google的专利-自带电源

这个GSA的软件部分，后台应该是google.com的老版本的一个子集。所以你可以简单的认为google的后台也是这样的。为了能尽量为网站主着想，google陆陆续续的把后台的一些功能都放进了google webmastel tools里。对于google来说，只要不泄露自己的核心机密，很多的数据和工具，如果能对网站主做好SEO有帮助的话，就把它开放出来让大家使用。

我就不一一说明每个功能在SEO上的作用，因为这个里面的很多细节都繁琐得可以写成一篇文章。以下就讲几个最近在google webmastel tools增减的功能，看看google是出于什么目的来调整的。

1，google webmastel tools 里有个控制爬虫“抓取速度”的选项，以前只能控制三个速度，就是“更快”、“正常”、“更慢”。而在我以前操作的google mini（GSA的老版本）中，也有这样一个调节爬虫抓取速度的选项，但是是一个拉动的滑块，可以调节出非常精确的抓取速度来。某一天，当我验证完一个新站的时候，发现google webmastel tools也已经是这样的了。

调节抓取速度

调节抓取速度

 这个对于很多网站来说是很有好处的，因为那些网站不怕你爬虫来得多了把服务器爬死，就怕你不经常来。

2，最近增加的“像 Googlebot 一样抓取”的功能，在GSA的后台也是有的，只是不是这种表现形式。为什么要加一个这样的功能呢？这是因为google在抓取很多网站的时候碰到的一些问题越来越多才加这个功能的。

模拟google爬虫

模拟google爬虫

同一个网页，搜索引擎爬虫看到的和你用浏览器看到的其实是不一样的。因为浏览器有很大的容错性，你少一个<div>，或者html标签没有关闭，只要不错得离谱的话，网页看起来还是很正常的。 但是搜索引擎爬虫是不会这样的，你在CMS上或者代码上有什么问题，会让爬虫看不到你的页面。所以你需要模拟搜索引擎爬虫去访问你的网页，看看搜索引擎访问到的源代码是不是你真实的源代码。这个google模拟爬虫，还可以查看一个网页的返回码。这是因为一个网页，如果你给搜索引擎返回多个返回码，根据各种情况，搜索引擎要么不收录你的网页，要么你的用户从搜索引擎点进你的网站会出现500错误（服务器内部错误）。

我在《Lynx浏览器在SEO上的应用》一文中建议大家用Lynx去访问你的网页也有这样的原因， 那个工具也可以实现这样的功能。可惜的是尽管google在《网站质量指南》里力荐这个浏览器，但是还是很多人不会去用，所以google干脆把这个功能放在google webmastel tools里了。

3，我还是低估了google的良苦用心程度。当我前几天看到新推出的这个“参数处理”的功能的时候，几乎要感动得哭了。

参数调节功能

参数调节功能

大家可能对URL静态化是有一些疑虑的。因为很久以前google说URL要静态化，而google年初的时候又说不要静态化了。为什么会有这么截然不同的说法呢？ 其实URL静不静态化根本不是问题的核心，核心问题是出在URL的参数上。如果有人仔细去看《HTTrack 在SEO上的应用》一文，并不断地去使用这个工具的话，就会发现：是因为URL上的参数复杂，才导致了爬虫陷入死循环的。现在即使你把URL静态化，如果没有处理好的话，和没有去静态化是一样的效果。关于这点以后还要写一篇文章才能说得清楚。

google当然清楚是由参数引起的，所以在以前，它都是有一套自己的方法过滤参数的。但是，这个过滤方法并不一定很准，可能你觉得不是参数的重要的页面，google把你过滤了，那就不会收录了。所以google就干脆让你自己来调节，先自动过滤一些参数，然后让你看看哪些参数过滤错了，或者还有哪些参数没有过滤，就由你来告诉google。

这篇文章太长了，更多内容以后再写。



87 Responses to “ google 的良苦用心：网站管理员工具 ”

  1. Mars 说：
    2009年10月24日 于 17:48

    沙发？
    舒坦！

    回复
    • mars 说：
      2009年10月27日 于 17:11

      前几天无意中在google中搜索“没有”二字，出来的结果让人十分意外！

      排名第一的链接居然已经失效，而且据了解这个页面早在07就已经不在了！

      这就更让人很难相信了，一个早已不存在的页面，为何长期在google的搜索结果中排名第一？

      本人才疏学浅，实在是弄不出来个所以然，希望高手能做出解答！

      回复
      • 看bxq 说：
        2011年08月2日 于 12:10

        你也说了输的是“没有”，那google反馈给你的排第一的是早已不存在的页面，很合理啊！

    • SHIFT 说：
      2009年10月28日 于 13:37

      人为干预的吧
      你看结果是百度没有鸡吧

      就好像百度搜索SB 谷歌搜索SB的结果一样

      回复
  2. 全球第一防脱发网 说：
    2009年10月24日 于 17:54

    绝佳好文！上次看了你提到google webmaster tools之后，特意去提交、验证网站，同时提交了sitemap，之前很多重复索引以及索引量过少的情况，现在已经得到了很大的解决。

    更多的功能还在实践中，多谢国平 :-)

    回复
  3. abc 说：
    2009年10月24日 于 17:56

    多谢分享！

    回复
  4. 奇侠一枝梅 说：
    2009年10月24日 于 18:00

    写得真是详细，辛苦了。

    回复
  5. 蝈蝈 说：
    2009年10月24日 于 18:02

    很长，回头继续捣鼓管理员工具去

    回复
  6. zetal 说：
    2009年10月24日 于 18:28

    偶还是SEO/SEM中的菜鸟中的菜鸟, 真希望有机会向国平请教请教.

    回复
  7. 天蓝网赚 说：
    2009年10月24日 于 18:40

    分析得非常的有见地。记得博主说过国内的主流SEO理论有些误导，希望博主能写几篇文章分析一下。在此为广大SEO从业者感谢了。

    回复
  8. pskungfu 说：
    2009年10月24日 于 18:42

    谷歌这样的服务器貌似也曾送给中科大一个，我们就享受不到这个玩意啦

    回复
  9. mgc2008 说：
    2009年10月24日 于 19:05

    LZ也让我很感动,分享那么多知识.在你BLOG里转了很久,头一次留言.

    今后一定好好向你学习.

    回复
  10. 视野博客 说：
    2009年10月24日 于 20:25

    第一次看到GSA的后台

    回复
  11. flying 说：
    2009年10月24日 于 21:02

    国平老师 真乃高人也。
    不显山露水，不过，还是引来了一群fans。

    回复
  12. sgcqh 说：
    2009年10月24日 于 21:23

    用管理员工具了下，网页能抓取成功，但中文显示都是乱码，用别的编码查看页都是这样，但是Google是有收录的，而且收录正常，何解~

    回复
  13. Nofollow 说：
    2009年10月24日 于 22:39

    谢谢分享本文啊！

    回复
  14. 广州seo咨询室 说：
    2009年10月24日 于 23:36

    有点晕，基础知识不扎实，还得努力

    回复
  15. apple 说：
    2009年10月25日 于 00:34

    老大,想问你个问题,我用Googlebot抓取,中文出来全是乱码,我网站的编码是gb2312的,这是为什么?好像官方也没有正确的回答!

    回复
  16. 夕帅 说：
    2009年10月25日 于 09:36

    学习了，回头好好研究研究

    回复
  17. wowNO1 说：
    2009年10月25日 于 10:47

    说这些有用吗？ 几个人买的起？ 不如跟我学学排名实在

    回复
  18. 11 说：
    2009年10月25日 于 11:28

    国平大哥也是G粉呵~

    回复
  19. 老白 说：
    2009年10月25日 于 12:10

    因为谷歌爱我们 所以我们爱谷歌 虽然现在市场是百度的 但是我早晚相信他会是谷歌的 文章不错 在这个seo漫天飞舞的年代可以看到这样原汁原味的文章不容易啊 我天天订阅 天天推荐在度谷的首页头条~ 希望对其余新手有帮助啊

    回复
  20. 啊聊 说：
    2009年10月25日 于 13:58

    继续关注国平

    回复
  21. 苦行僧 说：
    2009年10月25日 于 15:22

    第一次来这里报道，关注国平大哥

    回复
  22. 核桃 说：
    2009年10月25日 于 22:57

    果然是很长呵呵。
    新增加的几个功能是不错，像返回码这种，就不用再拿其它的工具来测试了。

    回复
  23. kichi 说：
    2009年10月25日 于 23:48

    又有收获了。。。。

    国平 我想多听听你说一些案例。。。

    呵呵。。。

    回复
  24. lowkey 说：
    2009年10月26日 于 00:43

    为什么没有提到关于robots文件的测试问题，我把robots复制粘贴进去测试，竟然都是错误的。不知道这个是何解？

    回复
  25. 李士辉 说：
    2009年10月26日 于 08:54

    管理员工具很不错，使用之后效果很好。

    回复
  26. HellFire 说：
    2009年10月26日 于 09:01

    可以更新慢点但是一定要保持高质.

    回复
  27. 霏酷网络营销 说：
    2009年10月26日 于 09:27

    周一刚到就能看到国平更新真是不容易啊，等了好多天了，谢谢分享

    回复
  28. 辉舞世间 说：
    2009年10月26日 于 09:56

    我的好多第一次都给了这个博客！！比如第一次知道GGmini……

    回复
  29. izon90 说：
    2009年10月26日 于 10:24

    这个才叫真正的SEO博客。其它的博客都是一些口水文章。没有新意。

    回复
  30. 123 说：
    2009年10月26日 于 13:39

    真是让人恼，找了一早上资料，找出来的都是同一篇文章，翻过来复过去的写，真tm垃圾！！
    还美其名曰“伪原创”,无耻到头了。中国的互联网也就这样了，趁早死了算了。。

    回复
  31. 至尊宝狼 说：
    2009年10月26日 于 13:49

    不知道现在，百度和google在市场的份额是多少？
    我个人网站平时来的流量是9：1.来10个IP，有9个是百度来的，一个是google来的。不知道大型网站是这样么？

    回复
  32. 出国移民 说：
    2009年10月27日 于 11:56

    很有见地。。分析的不错

    回复
  33. ANDY 说：
    2009年10月27日 于 14:06

    我用像 Googlebot 一样抓取工具试了。。。中文网站都是乱码。。是不是这个工具还不支持中文网站
    HTTP/1.1 200 OK
    Cache-Control: private
    Date: Thu, 22 Oct 2009 06:54:37 GMT
    Content-Length: 49857
    Content-Type: text/html
    Server: Microsoft-IIS/6.0
    X-Powered-By: ASP.NET
    Set-Cookie: ASPSESSIONIDQAARTBCC=MPJLPJPDFDAOOJKFMKCHKIFL; path=/
    MAXMAN������������Ʒ_��֤����������_�������ҩ��ƷMAXMAN�����������!400 666 2118

    回复
  34. 狂野小虫 说：
    2009年10月28日 于 10:55

    很喜欢谷歌最新的这个模拟抓取
    可以看看301、404等状态码是否正确

    回复
  35. dunce 说：
    2009年10月28日 于 13:52

    关于抓取速度的那个功能，去年看到过一篇non-offical的试验报告，似乎说那功能没用，于是找啊找的，终于找到那篇帖子重新看了下，发现那只是作者依据自己站点的判断，实际确实有用的。那帖子写的蛮不错的，国外的SEOer确实比较细心，发来给大家分享下http://www.seomoz.org/blog/googles-faster-crawl-rate-no-thanks
    评论一样精彩。。。

    回复
  36. 漠天 说：
    2009年10月29日 于 11:42

    Google管理员工具的确是一个不错的工具，免去了站长很多麻烦。

    回复
  37. LV 说：
    2009年10月30日 于 14:26

    很好很好的文章，仔细看

    回复
  38. 游戏资讯 说：
    2009年10月31日 于 01:15

    不错的博客,留下脚印!

    回复
  39. DELL电脑 说：
    2009年10月31日 于 21:31

    今天你偷菜了没有？戴斯克姆

    回复
  40. 11 说：
    2009年10月31日 于 22:40

    按规律今天晚上应该有更新~~
    :-)

    回复
  41. 佛山论坛 说：
    2009年11月1日 于 00:42

    很牛啊,希望有更多好文章,让我们学习

    回复
  42. 耳聋 说：
    2009年11月4日 于 14:26

    学习了

    回复
  43. Louis Han 说：
    2009年11月7日 于 14:04

    研究了很长时间，也没有完全的把握 有点小复杂

    回复
  44. 深圳 说：
    2009年11月7日 于 19:07

    好久没有上来了，有点想大家了。呵呵！

    回复
  45. 减肥产品排行榜 说：
    2009年11月7日 于 23:49

    好久没来你这了，今天有空，来看看！

    回复
  46. 网络美文网 说：
    2009年11月14日 于 16:44

    分析的很透彻，感谢ing

    回复
  47. UGG boots for sale 说：
    2009年11月16日 于 12:02

    一言惊醒梦中人啊

    回复
  48. ljbcool 说：
    2009年11月18日 于 20:13

    GG从最开始的PR,到谷歌管理员工具，再到后来的谷歌分析工具，逐渐得在完善自己的搜索技术，其中谷歌分析工具，将会对以后的排名有很大影响，从网站跳出率，可以让它了解到您的内容是否是用户所需要的信息，还有一个网民所给你带来的PV,网站粘度，相信在未来谷歌排名第一的会给PV高的网站！！！

    回复
  49. Pingback 说：
    2010年02月15日 于 01:29

    Where did “The Most Powerful Autoblogging Software” thread go? – Black Hat Forum Black Hat SEO

    回复
  50. Matthew C. Kriner 说：
    2010年02月27日 于 09:44

    awesome post, I really learned a lot about blogging here

    回复
  51. blacki 说：
    2010年03月11日 于 06:28

    You have really great taste on catch article titles, even when you are not interested in this topic you push to read it

    回复
  52. 就要发 说：
    2010年03月11日 于 12:47

    好文章，不错。以后多多关注你

    回复
  53. Magnolia Sevedge 说：
    2010年04月10日 于 15:27

    Nice Website. You should think more about RSS Feeds as a traffic source. They bring me a nice bit of traffic.

    回复
  54. penis growth pills 说：
    2010年04月16日 于 02:58

    greetings. Awesome editorial. Marked and will check back again soon. tata

    回复
  55. minisite designer 说：
    2010年05月17日 于 00:47

    Hello, this is my first time i visit here. I found so many interesting in your blog especially on how to determine the topic. keep up the good work.

    回复
  56. 本本迷 说：
    2010年05月27日 于 19:50

    我的本本迷网站被谷歌K后，多次提交审核都不通过！我自始至终不知道原因！郁闷呢！

    回复
  57. christian louboutin shoes 说：
    2010年05月27日 于 20:31

    刚开始了解SEO，看的我都头大了
    哪里有新手老师啊
    求救

    回复
  58. christian louboutin shoes 说：
    2010年05月27日 于 20:32

    我连谷歌管理工具都不会用
    唉，求救高手
    哪里可以找到SEO人才？

    回复
  59. Christian Louboutin 说：
    2010年06月3日 于 22:54

    great information you write it very clean. I am very lucky to get this tips from you.

    回复
  60. P. Casino Delreal 说：
    2010年06月16日 于 14:17

    Always looking for something new to own. Looks like this might be it.

    回复
  61. Akiko y Casino II 说：
    2010年06月20日 于 13:54

    Never heard of that before, but thanks for opening up my eyes.

    回复
  62. 叶公子 说：
    2010年07月27日 于 18:21

    为什么用lynx查看的时候 Visible links 和 Hidden links都有首域名呢？

    回复
  63. 电子商务博客 说：
    2010年09月5日 于 01:29

    怎样才能使多数页面都拥有PR值？
    我看到国平大哥的文章都有pr值 说明有比较高的权重
    我也接触其他很多不错的博客 首页的权重很高 但是内容页拥有像你这么普遍的权重很少见

    能不能解答下？

    回复
  64. wholesale 说：
    2011年01月17日 于 21:45

    绝对的干货啊，现在感觉像你这样详细的博文实在罕见

    回复
  65. 癫痫病治疗最好医院 说：
    2011年02月12日 于 11:20

    google webmaster tools ，还是蛮有用的。

    回复
  66. 台湾健康食品 说：
    2011年04月21日 于 11:45

    一直在用gg的webmaster tools

    回复
  67. 网站模板优化 说：
    2011年05月23日 于 14:28

    大哥从哪里搞来这么优秀的文章！

    回复
  68. jacky 说：
    2011年07月16日 于 18:29

    国平老师，你的文章写的很好，对我还有帮助，谢谢你了

    回复
  69. mlb jersey 说：
    2011年07月30日 于 17:27

    这个得下载个来试试，实用

    回复
  70. 专业钕铁硼强磁工厂 说：
    2011年08月15日 于 08:59

    如果可以买到这样的硬件设备那应该是无往不利。

    软件工具还在摸索中。

    回复
  71. 何涛 说：
    2011年08月15日 于 20:26

    让我对GG管理员工具有了另一种看法

    回复
  72. 苗木 说：
    2011年08月18日 于 06:09

    很好的文章，让我学到了不少的东西，以后会经常来的，

    回复
  73. 用户体验设计 说：
    2011年09月9日 于 15:30

    今天才看到，恨晚

    回复
  74. 海天营销软件 说：
    2011年09月13日 于 19:41

    又让我学到了不少的东西，期待新的文章

    回复
  75. seo优化软件 说：
    2011年11月4日 于 11:46

    我认为谷歌的pr值是反映seo一个小指标，谷歌还有更多指标比pr重要，更有参考价值：比如站长工具中的抓取统计信息报告

    回复
  76. 去耳畔 说：
    2011年11月8日 于 10:11

    我来了，我来支持你了

    回复
  77. 石金磁选 说：
    2012年06月4日 于 09:55

    说得很好，我是菜鸟，学习一下先

    回复
  78. 刮刮卡 说：
    2012年06月18日 于 00:47

    这个才是专业的SEO ,以前尽被人忽悠了

    回复
  79. 北京SEO顾问 说：
    2012年08月9日 于 09:47

    谷歌的东西就是犀利，做科学的seo必备啊。

    回复
  80. helius 说：
    2012年08月10日 于 19:19

    太好了，seo很强悍啊你们

    回复
  81. internetrix 说：
    2012年09月25日 于 10:49

    对于站长或者是SEO，SEM，对谷歌的学习确实不能够只停留在它是一款在国内应用不多的搜索引擎。
    之前接触过很多个SEO的公司，在国内，他们主要做的就是百度的排名。对谷歌全部都忽略不计，这样子的行为很心寒啊，事实上把谷歌应用好，比把百度的做好会高效很多。

    回复

发表回复