【旺格子優(yōu)化軟件】什么是robots？

    1.什么是robots.txt

    robots.txt它是一個文本的文件，是一種存放于網(wǎng)站根目錄下的文本文件，它通常會告訴蜘蛛，這個網(wǎng)站中有哪些內(nèi)容不應該被搜索引擎的抓取程序獲取的，又有哪些是可以被抓取程序獲取的。

    robots.txt這個robots必須是要小寫的，這是跟網(wǎng)絡蜘蛛建立的一個協(xié)議，網(wǎng)絡蜘蛛來你的網(wǎng)站的時候第一會去看的就是你網(wǎng)站根目錄的robots.txt協(xié)議文件，它會根據(jù)你的規(guī)定來進行抓取，但是有些傲嬌的網(wǎng)絡蜘蛛它不遵循規(guī)則，一般網(wǎng)絡蜘蛛都會會遵循的，要是你網(wǎng)站根目錄沒有這個文件的話網(wǎng)絡蜘蛛就會沿著我們網(wǎng)站上面的鏈接一個一個進行抓取。

    2.robots.txt的作用

    （1）它可以引導搜索引擎的蜘蛛抓取指定的欄目或者是內(nèi)容。相當于你去一個陌生的城市，有人給你帶路一樣。

    （2）當我們網(wǎng)站改版或者是URL重寫優(yōu)化時屏蔽不好的鏈接。不到萬不得已千萬不要進行網(wǎng)站改版，這個對網(wǎng)站傷害很大的，會引起降權或者是排名收錄全掉。

    （3）可以屏蔽死鏈接和404錯誤頁面。隨著網(wǎng)站壯大，死鏈接和404錯誤頁面是在所難免的。

    （4）屏蔽那些無內(nèi)容和無價值的頁面。

    （5）屏蔽重復頁面，比如說評論頁、搜索結果頁。

    （6）屏蔽任何不想被收錄的頁面。

    （7）引導蜘蛛來抓取網(wǎng)站地圖。讓蜘蛛更快速來爬取我們網(wǎng)站的鏈接。