?? 有的網(wǎng)站使用了不利于蜘蛛爬行的技術,這些技術被稱為蜘蛛陷阱。網(wǎng)站想要有好的排名就必須避免這些蜘蛛陷阱。避免蜘蛛陷阱應該先了解網(wǎng)站常見的蜘蛛陷阱有哪些。
1. Flash
  在網(wǎng)頁的某一小部分使用Flash增強視覺效果是很正常的,比如用Flash做成的廣告、圖標等。這種小Flash和圖片是一樣的,頁面上還有其他以 文字為主的內(nèi)容,所以對搜索引擎爬行沒有影響。但是有的網(wǎng)站整個首頁就是一個Flash文件,這就形成了蜘蛛陷阱。搜索引擎抓取的HTML代碼只有一個 Flash文件的鏈接,沒有其他文字內(nèi)容。搜索引擎無法讀取Flash文件中的內(nèi)容。也有的網(wǎng)站喜歡在首頁放一個Flash動畫片頭(Flash Intro),用戶訪問網(wǎng)站看完片頭后跳轉(zhuǎn)到真正的HTML版本的網(wǎng)站首頁。搜索引擎不能讀取Flash,也就無法從Flash Intro跟蹤到HTML版本頁面。
2. 各種跳轉(zhuǎn)
  除了301重定向以外,搜索引擎對其他形式的跳轉(zhuǎn)都比較敏感,如302跳轉(zhuǎn)、Js跳轉(zhuǎn)、Flash 跳轉(zhuǎn)。如果必須跳轉(zhuǎn),301重定向是搜索引擎推薦用于URL更改的跳轉(zhuǎn),可以把頁面權重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他跳轉(zhuǎn)方式都對蜘蛛爬行不利,黑帽SEO 經(jīng)常使用跳轉(zhuǎn)欺騙搜索引擎,所以很多跳轉(zhuǎn)對搜索引擎都不友好。除非萬不得己,否則盡量不要使用301重定向以外的跳轉(zhuǎn)。
3. 框架結構
  使用框架結構設計頁面,曾經(jīng)挺流行,因為對網(wǎng)站的頁面更新維護十分方便。不過現(xiàn)在的網(wǎng)站已經(jīng)很少使用框架了,不利于搜索引擎爬行是框架越來越不流行的 原因之一。對搜索引擎來說,訪問一個使用框架的網(wǎng)頁,所抓取的HTML只包含調(diào)用其他HTML文件的代碼,并不包含任何文字信息,搜索引擎無法判斷這個網(wǎng) 頁的內(nèi)容是什么。雖然蜘蛛可以跟蹤框架中所調(diào)用的其他HTML文件,但是這些文件是不完整的頁面。搜索引擎也無法判斷框架中的頁面內(nèi)容應該屬于主框架,還 是屬于框架調(diào)用的文件。
4. JavaScript 鏈接
  由于JavaScript可以創(chuàng)造出很多吸引人的視覺效果,有些網(wǎng)站喜歡使用JavaScript腳本生成導航系統(tǒng)。這也是比較嚴重的蛛蛛陷阱之一。雖然搜索引擎都在嘗試解析JS腳本,不過我們不能寄希望于搜索引擎去克服困難,而應該讓搜索引擎爬行的工作盡量容易。
  據(jù)觀察,雖然有的搜索引擎在技術上可以獲得JavaScript腳本中包含的鏈接,甚至可以執(zhí)行腳本并跟蹤鏈接,但對一些權重比較低的網(wǎng)站,搜索引擎 覺得沒有必要,便不會費那個勁。所以網(wǎng)站上的鏈接必須使用最簡單標準的HTML鏈接。尤其是導航系統(tǒng),用CSS做導航系統(tǒng)一樣可以實現(xiàn)很多視覺效果。
5. 要求登錄
  有些網(wǎng)站需要用戶登錄之后才能看到內(nèi)容,這部分內(nèi)容搜索引擎無法爬行。蜘蛛不能填寫用戶名、密碼,也不會注冊。
  如果想要網(wǎng)站排名靠前,那么網(wǎng)站設計時就應該盡量避免蜘蛛陷阱,蜘蛛無法爬行網(wǎng)站,搜索引擎無法收錄網(wǎng)頁,那就更加不要談什么快照,什么排名了。