【旺格子優(yōu)化軟件】什么是robots？

    1.什么是robots.txt

    robots.txt它是一個(gè)文本的文件，是一種存放于網(wǎng)站根目錄下的文本文件，它通常會(huì)告訴蜘蛛，這個(gè)網(wǎng)站中有哪些內(nèi)容不應(yīng)該被搜索引擎的抓取程序獲取的，又有哪些是可以被抓取程序獲取的。

    robots.txt這個(gè)robots必須是要小寫(xiě)的，這是跟網(wǎng)絡(luò)蜘蛛建立的一個(gè)協(xié)議，網(wǎng)絡(luò)蜘蛛來(lái)你的網(wǎng)站的時(shí)候第一會(huì)去看的就是你網(wǎng)站根目錄的robots.txt協(xié)議文件，它會(huì)根據(jù)你的規(guī)定來(lái)進(jìn)行抓取，但是有些傲嬌的網(wǎng)絡(luò)蜘蛛它不遵循規(guī)則，一般網(wǎng)絡(luò)蜘蛛都會(huì)會(huì)遵循的，要是你網(wǎng)站根目錄沒(méi)有這個(gè)文件的話(huà)網(wǎng)絡(luò)蜘蛛就會(huì)沿著我們網(wǎng)站上面的鏈接一個(gè)一個(gè)進(jìn)行抓取。

    2.robots.txt的作用

    （1）它可以引導(dǎo)搜索引擎的蜘蛛抓取指定的欄目或者是內(nèi)容。相當(dāng)于你去一個(gè)陌生的城市，有人給你帶路一樣。

    （2）當(dāng)我們網(wǎng)站改版或者是URL重寫(xiě)優(yōu)化時(shí)屏蔽不好的鏈接。不到萬(wàn)不得已千萬(wàn)不要進(jìn)行網(wǎng)站改版，這個(gè)對(duì)網(wǎng)站傷害很大的，會(huì)引起降權(quán)或者是排名收錄全掉。

    （3）可以屏蔽死鏈接和404錯(cuò)誤頁(yè)面。隨著網(wǎng)站壯大，死鏈接和404錯(cuò)誤頁(yè)面是在所難免的。

    （4）屏蔽那些無(wú)內(nèi)容和無(wú)價(jià)值的頁(yè)面。

    （5）屏蔽重復(fù)頁(yè)面，比如說(shuō)評(píng)論頁(yè)、搜索結(jié)果頁(yè)。

    （6）屏蔽任何不想被收錄的頁(yè)面。

    （7）引導(dǎo)蜘蛛來(lái)抓取網(wǎng)站地圖。讓蜘蛛更快速來(lái)爬取我們網(wǎng)站的鏈接。