【wopti優(yōu)化大師】robots對SEO重要性

　　很多優(yōu)化新手不知道怎么用robots,甚至不明白robots文件到底是為何物，很多網(wǎng)站就是沒有設(shè)置好這個文件導(dǎo)致了排名不理想，因此這個文件對網(wǎng)站優(yōu)化是非常重要的，以下就是詳細(xì)介紹：

　　【wopti優(yōu)化大師】robots對SEO重要性

　　一、robots文件是什么

　　這個文件是一種協(xié)議,所有的搜索引擎蜘蛛進(jìn)入網(wǎng)站的時候第一個訪問的就是這個文件，具體的作用就是用來自由設(shè)置哪些文件可以抓取，哪些不能抓取。

　　二、robots文件設(shè)置的格式：

　　User-agent：定義搜索引擎的類型；

　　Crawl-delay：定義抓取延遲

　　Disallow：定義禁止搜索引擎收錄的地址

　　Allow：定義允許搜索引擎收錄的地址

　　三、為什么robots非常重要

　　1.網(wǎng)站優(yōu)化切忌的就是重復(fù)頁面，但是不少人沒有重視，現(xiàn)在的主流網(wǎng)站程序都很容易自動產(chǎn)生一些沒用的頁面，比如緩存頁面，搜索頁面，等等，這些頁面內(nèi)容往往和主體內(nèi)容相重復(fù)，而且沒有什么用，如果被蜘蛛抓到，那么對網(wǎng)站排名會有非常嚴(yán)重的負(fù)面影響。

　　2.搜索引擎喜歡原創(chuàng)內(nèi)容，而這一方面并不是單單是指文章的原創(chuàng)度，另一方面網(wǎng)站模板的原創(chuàng)度也是非常重要的評分點，所以如果自己網(wǎng)站的模板不是原創(chuàng)，最好要屏蔽css目錄和模板目錄。

　　3.利用robots文件可以用來屏蔽一些沒有用的頁面，比如隱私頁面，后臺登陸頁面，圖片目錄等內(nèi)容。

　　4.可以大大的增強(qiáng)蜘蛛網(wǎng)站的爬取效率，幫助搜索引擎理解哪些才是網(wǎng)站最重要的內(nèi)容，不再浪費到其它的那些無用的頁面上。