URL的問題是SEO過程中的一個基本問題，做一個新網站也好，優化現有的網站也好，都繞不開這一點。 這兩篇文章就來大體總結一下URL的規劃應該怎麼做。
在開始講這些問題之前，需要先閱讀完以下文檔：
這些都是google官方的文檔，講述了各種各樣的規則。 這些對百度也是同樣適用的，因為它是針對爬蟲的特性提出來的，並不是只有某個搜索引擎才適用。
看完上面的那些這些規則，發現翻來覆去講得都是怎麼讓爬蟲能非常順暢的抓取完整個網站。 其實絕大部分網站都存在這樣或那樣的問題的，也包括我這個博客，在抓取方面也存在一些問題。 但是看在每篇博文都能被收錄的情況下，也就不去優化了。 但是對於很多收錄還成問題的網站（特別是大中型網站）來說，就要好好規劃一下了。 大家可以用HTTrack抓取semyj這個博客看看，就能發現為什麼我這麼說了。 （誰能一天之內抓取完這個博客的人請告訴我。）
儘管SEO在中國已經不陌生，甚至都有形成一個行業的趨勢，但是至今業內都還沒有一套非常科學系統的分析方法。 原因恐怕要歸結於搜索引擎優化這個行業的特殊性。 搜索引擎嚴格保守他們的算法，隻公布一些大家很難去知道原因的指南。 所以很多SEOer都在玩一個永遠也不知道具體規則的遊戲，這是這個行業混亂的根源。
我多次強調《 google網站質量指南 》的重要性，還因為這是搜索引擎告訴網站主的僅有的一些正確的規則，如果連這點規則都不好好掌握，那我還不確定大家能從什麼地方得到更權威的指導。 但是在實戰中，儘管你熟讀這個《指南》已經比很多人更了解搜索引擎的規則，不過僅僅知道這點東西是不夠的，一套科學系統的分析方法能讓你走得更遠。
我想SEO經過了這麼多年的發展，已經不應該再出現那種靠感性分析去做SEO的分析方法了。 這種分析方法常用的語句就是：我覺得搜索引擎會如何如何。 如：我覺得搜索引擎不會那麼笨，這點一定能處理好；我覺得搜索引擎會把這個因素當作排名的因素之一……。 如果你是依靠感性分析去做SEO的，那你的SEO流量的變化曲線也是很感性的。 當然更不能去無根據的臆測和道聽途說。 如：沒有理論基礎的去猜想搜索引擎會怎麼樣或者每逢搜索引擎的相關人員以及什麼權威人士發表什麼演說，就去盲目聽從。
這篇文章承接上篇《 熱門還是長尾？ 大中型網站的關鍵詞優化策略 》。 明白了長尾效應在一個大中型網站中的作用後，還需要明白內外部鏈接誰更重要。
在搜索引擎上，去獲取流量的最基本單位就是網頁。 一個網頁的外部鏈接因素，對這個網頁的排名影響很大。 這個網頁的外部鏈接，既有同一個網站的其他頁面給的站內鏈接，也有其他網站上的網頁給的站外鏈接。 下面文章裡的內部鏈接是指站內鏈接，外部鏈接是指站外鏈接。 那麼在優化一個網站的時候，是特別注意優化內部鏈接還是外部鏈接呢？ 或者在分析一個網頁排名的時候，是覺得內部鏈接貢獻的價值大，還是外部鏈接的價值大？
長久以來，大家都非常重視外部鏈接。 源於那麼一個說法，那就是：一個網站你自己說你的網站裡有什麼是不算數的，要別的網站說你這個網頁裡有什麼才算數；相對於你自己如何評價自己，別人的評價才更準確。 所以很多人在做一個頁面的排名的時候，只做一件事情，就是瘋狂的給這個網頁做外部鏈接。 而內部鏈接呢，很多人認為不重要或對排名影響不大。
這種說法應該是有人從PR值的計算方法發展而來的。 因為在PR值的計算理論裡，影響一個網頁PR值的是這個網頁的外部因素。 當擴大到整個網站的時候，有人就認為影響這個網站整體排名的因素來自於其他網站。 其實這個說法有一個明顯的誤區，就是沒有明白網頁和網站的區別。 別說PR值和排名沒有直接的關係，就算在PR值的計算理論裡，向來也只有網頁才是被計算的對象，而不是整個網站。 列在搜索結果頁面的，也是一個個的網頁。
那如果一個網頁同時有10個外部鏈接和10個內部鏈接，誰對排名的影響大呢。 我們再來看那個“外部鏈接的評價更準確”的理論。 其實這個理論要成立是要有一個前提的，那就是互聯網上所有的網頁都是不值得信任的，要靠這些網頁彼此之間的關係才可以確定誰更重要、誰的內容更和什麼關鍵詞相關。 這在一個搜索引擎建立的初期，是非常科學的方法。 但是，搜索引擎發展到現在，積累了大量的數據，環境也不一樣，那很多問題都要重新審視了。 Matt Cutts曾經說過google不會停止對PR值的改進，其實更多的其他改進也是如此。 而百度的超鏈分析法，在面對如此氾濫的群建鏈接的情況下，也會做出相應的修改的。
接下來的兩篇文章，會討論網站是選熱門關鍵詞還是長尾關鍵詞，以及應該注意內部鏈接還是外部鏈接。
相信很多SEOer都有這樣經歷：開始做一個網站的SEO的時候，都是先選一些計劃中要排名的詞語，希望藉由這些詞語在搜索引擎上獲得大量的流量。 在這些詞語中，有些人選的是些熱門詞；有些人明智一點，是一些在當前的能力下能做到的適當熱門的詞語。 在接下來的過程中，會集中很多的“資源”來做這些這些詞語的排名。 包括在title中適當的重複這些關鍵詞；突出這些關鍵詞的密度；外部鏈接指向這些關鍵詞頁面等等。 不過，在計劃中的詞語還沒有排名的時候，很多人會發現網站其實已經有一些SEO流量了。 而去分析流量就會發現，流量幾乎都不是計劃中的這些關鍵詞帶來的，而是各種各樣奇怪的長尾詞。 等到計劃中的關鍵詞有好的排名的時候，根據網站的不同，有些網站可能大部分流量靠那些熱門關鍵詞貢獻，而有些網站則不然。
那麼，在做一個網站的SEO關鍵詞優化的時候，是把精力偏重放在做熱門關鍵詞還是做長尾關鍵詞呢？
為了看清楚這個問題，我們需要來看看用戶使用搜索引擎的現狀。
不需要太多的數據參考，可以回想我們自己或者周圍其他人使用搜索引擎的情況，就會發現：
已經有很多網友問我百度如何優化了，不過我一直不清楚如何來寫更合適。
有好幾個原因。 首先是，很多知識，我不先介紹一下的話，到時候我寫出來大家不容易理解。 就如我博客剛開的時候，我就想寫《 SEO案例：錨文本、關鍵字、nofollow、Web標準化 》這篇文章，但是如果一開始不講一下為什麼要重視錨文本、如何選關鍵字、 nofollow的作用、為什麼要標準化的話，很多人可能會覺得我只是講了一個特別注意細節的案例。
所以我會先把google的優勢講明白，把搜索引擎是怎麼運作的講明白，然後才能把如何做百度優化講明白。 我博客裡的很多文章都是從google的角度出發來講SEO的，但是你都可以思考一下同樣的事情要是百度來處理的話，會如何去解決。
第二個原因就是百度優化和google優化在技術上有80%是相似的，所以不用特別的區分是百度優化還是google優化。 而且，做一個網站的SEO工作，那些流程和方法都是一樣的。 說起相似性，你就可以看到：一個在google上排名很強勢的網站，在百度上也會有不錯的排名。 還有，百度前幾年不是一直宣稱google侵犯了百度在超鏈分析法上的專利嗎，雖然很荒謬，但是可以看出百度也是注重外部鏈接的。 而且現在還有一個趨勢就是，百度在算法上越來越模仿google。
另一個原因就是其他方面的。 互聯網的圈子其實很小，百度排名確實有一些技巧，但是我今天在這裡說明的技巧，明天大家就不能用了。
很多人很關心google Caffeine的更新，有些猜測說是為了應對bing的突起而做的改動。
前面講了很多理論，那這次我們來實踐一下，從搜索引擎的角度，來判斷一下google Caffeine到底更新了什麼。
先看google官方的解釋: http://googlewebmastercentral.blogspot.com/2009/08/help-test-some-next-generation.html (需要翻牆)
我覺得，這次改動主要是重寫了搜索引擎的底層架構，涉及到爬蟲、索引庫、排序規則等等很多方面。 提升的方向主要是google一直以來追求的速度，而速度的提高會進一步帶來準確性和全面性的提升。
Google是一個對速度的追求達到了變態的地步的公司。 他們的價值觀之一就是“速度為王”。 舉好幾個例子：你可以在google首頁看到，所有的代碼被壓縮成幾行，因為這樣能提高加載速度，甚至在代碼變量的命名上，都是堅持能用1個字母的就不用2個字母的原則；google非常多的產品大量應用AJAX技術，就是為了在速度上更快一點；在google的歷史上，曾經想把搜索結果首頁的默認條數從10條增多到30條，用戶也樂意接受這個改動，但是測試下來，發現這樣會拖慢0.5秒的速度就放棄了。
追求速度不光是為了用戶打開頁面快而考慮的。 我相信google在98年就開始意識到這樣一個瓶頸問題：摩爾定律描述了每隔數年計算機的硬件水平就翻倍。 而互聯網上的信息，也是這樣一個規律。 有人甚至說是每隔9個月互聯網上的信息量就翻倍。 搜索引擎要保證一個基本的信息查全率，就需要能跟上這種信息暴增的速度。
分詞是很多做SEO的人常聽到的概念，為了讓大家在這個方面不會有疑惑，現在要來講一下分詞以及索引庫。 這也是更深入的了解搜索引擎的開始。
搜索引擎每天都是在處理一個基本的需求：用戶搜索一個關鍵詞，搜索引擎馬上找到相關的網頁給用戶。 這個過程要怎麼實現呢？ 下面就分步來了解這個過程。
首先搜索引擎要盡可能多的把互聯網上的網頁蒐集下來，這樣能提供大量的網頁給用戶查詢。 這一部分由爬蟲來解決，順著互聯網上的鏈接一個個往下抓取。 最後就有了一堆記錄著網頁各種信息的資料庫。 目前的現狀，最後能使這個資料庫裡有大概100多億個網頁。 資料庫裡記錄了這些網頁的URL，整個網頁的HTML代碼，網頁標題等等信息。
然後，搜索引擎拿到用戶輸入的這個關鍵詞後，要從這個資料庫裡把相關的網頁找出來給用戶。 這裡就碰到好幾個問題了：
SEO新手入門，學習資料我只推荐一本書、一個網站。
一本書是《搜索引擎營銷:網站流量大提速》。
此書的作者之一就是我常說的Mike Moran，研究搜索引擎技術20多年的人。 這個書的中文版只有2006年那版的，後來的更新版本只有英文版。 最新版本的購買鏈接http://www.mikemoran.com/ 。 (後注：2009年10月，這本08版的中文版也已經出版，淘寶上有售。）
這本書完整講述了搜索引擎營銷的過程和方法。 對於有些人來說，這本書好像平淡無奇，那可能是因為受一些錯誤觀點誤導太久的緣故。 真正的SEM方法，沒有秘籍，一開始就是那麼簡單，但是要深入下去就很複雜。 我當初拿到這本書的時候，是用一天一夜的時間連續不斷看完的，之後又反复看了20幾遍。 因為我看到一些我辛苦總結的東西，作者一筆帶過就講清楚了。 這本書很厚，即使SEO已經從業很久的人員，這本書相信精讀下去你還是不斷會有收穫的。
這本書還有很特別的一點，就是專門花一個章節來講述你如何向你的老闆和你的同級部門去推銷你的SEO方案。 因為即使是現在，在一個大中型網站裡要說服大家接受某些SEO改動還是很費精力的。
其實有很多好的SEO教程，本來我以為只有我力捧這本書的，沒想到有一天擁有11年SEO經驗Stephen 也跟我極力讚揚這本書。 他很少這麼推崇一本書的，所以大家快買來看看吧。
在學習搜索引擎的相關技術和原理的時候，特別要注意研究爬蟲。 這也是從常識出發來想的：搜索引擎和網站之間，是爬蟲把他們連在一起的。 這就是我那麼執著於研究爬蟲的原因，所以博客裡有好幾篇都是介紹爬蟲的。 還寫了一些與之相關的：nofollow， URL靜態化等等。
一個SEO同行也認可這種方法的。 今年，我們另一個部門的領導在參加美國SMX大會的時候，碰到了一個以前在google工作了8年、現在辭職做SEO顧問的人。 那個顧問給的意見就是：SEO要站在搜索引擎的角度來看待問題；然後把網站的技術問題解決好；那些技術問題，不是可有可無的，而是不掌握就不能開始做SEO的。 我聽到這個轉述，真的毫不懷疑他確實在google工作過8年的人。 大家還可以在《google網站質量指南》裡多看看，無處不充斥著很多技術問題。
很多優秀的SEOer,都在各自獨立做SEO，但是最後大家都殊途同歸、都在朝正確的方向走的。 這是因為他們對這些常識有了解，知道怎麼走是不會錯的。 對常識的了解深到什麼程度，你就能有優勢到什麼程度。 其他一些一線的SEO，在這些常識的基礎上做得既大膽又創新，連我這個對手都不禁要為他們喝彩。
我基於對搜索引擎技術的學習，使我都非常想和google的人交流，因為我明白他們設計某些規則的思想，以及碰到的問題，有時候覺得自己說不定也能給他們提供一點解決方法。 在08年4月廈門的SMX大會期間，我就和朱建飛單獨聊了一個半小時，主要談他的本行-anti spam。 我相信他那時是非常願意和我談並且印象深刻的。
我前面寫的這些東西，很多看起來是很偏門的。 不過我並不是故意挑這樣的內容去寫。 這些東西，其實正是我想要很多SEOer去探索的。 也都是我平常工作中會用到的知識和工具。
本來這篇文章我打算講一下分詞和索引庫，但是寫到一半，發現如果我不把怎麼學SEO講明白的話，有些人可能又覺得我寫了一個偏門的東西了。 還有，上次網站備案的時候很多人想讓我寫一下怎麼學SEO。 所以這篇文章就講一下怎麼來學SEO。 我希望這篇文章能廣為傳播一下，讓很多SEOer意識到這些。
先定義一下，這裡所說的SEO，是純粹的指從搜索引擎獲得大量優質的流量，把網站要實現的最終效果最大化。 有些人把網站運營的內容也納入到SEO範圍，不過這篇文章不討論網站運營的東西，儘管我是很建議大家把網站運營和SEO結合。
