【robots.txt怎么寫】Robots.txt寫法和放在哪里詳解

　　1、什么是Robots，熟練掌握Robots的基礎(chǔ)語法，寫出你對本節(jié)課的理解

　　Robots是指網(wǎng)站與搜索引擎之間的協(xié)議，下列三小點是需要自己記住的：

　　1.Robots是存放在網(wǎng)站根目錄

　　2.Robots.txt是放在網(wǎng)站根目錄

　　3.robots.txt文件名是不可修改的

　　4.Robots也是百度蜘蛛第一先抓取的

　　2、robots形式及定義：

　　User-agent:Baiduspider（定義所有的百度蜘蛛）

　　Disallow:/

　　User-agent：定義所有的蜘蛛

　　Baiduspider：百度蜘蛛

　　Googlebot：谷歌機器人

　　MSNBot：msn機器

　　Baiduspider-image：百度圖片

　　Disallow:定義那些文件可以抓取，那些文件不可以抓取

　　Allow:允許

　　小結(jié)：網(wǎng)站優(yōu)化必須要有robots，robots格式區(qū)分大小的，區(qū)分大小寫格式為：Disallow首字母必須是大寫的，在本地新建記事本編輯時需要注意的是：輸入法中文要切換成英文，例如：

　　同時需要注意的是：在編輯時Disallow:/要空一格如下圖所示

　　*：定義所有的蜘蛛通配符

　　/：通配符拒絕百度蜘蛛訪問訪問網(wǎng)站根目錄的文件，就是全部的意思

　　Robots生效時間是多少，是由百度決定的，有可能是1個月或者2個月

　　附注：放行也是需要生效時間的

　　$：結(jié)束符

　　附注：同時也需要注意的是，網(wǎng)站動態(tài)的路徑也要用robots進行屏蔽，在這個前提需要做的是，要了解每個文件下的數(shù)據(jù)是用來做什么用的，代表什么意思，自己下面也知道如何運用robots進行操作。對robots還是不能理解的，可以點擊我的博客：

　　<divclass="blockcode"><blockquote><ahref="http://bbs.moonseo.cn">SEO研究中心之robots的制作和特殊符號含義</a>

　　復(fù)制代碼

　　。

　　備注：

　　Disallow:/data（一個是文件夾、一個是目錄）禁止以data開頭的文件或文件夾/data.html/dataaaa.html/data/aaa.html根目錄下的文件是不能訪問的

　　Disallow:/data/(拒絕目錄的)禁止文件夾/data/aaa.html能訪問/data.html/dataaaa.html

　　2、為你在基礎(chǔ)操作的網(wǎng)站加上robots

　　User-agent:*（定義所有的蜘蛛）

　　Disallow:/plus/ad_js.php（拒絕目錄/plus/能訪問ad_js.php）

　　Disallow:/plus/advancedsearch.php

　　Disallow:/plus/car.php

　　Disallow:/plus/carbuyaction.php

　　Disallow:/plus/shops_buyaction.php

　　Disallow:/plus/erraddsave.php

　　Disallow:/plus/posttocar.php

　　Disallow:/plus/disdls.php

　　Disallow:/plus/feedback_js.php

　　Disallow:/plus/mytag_js.php

　　Disallow:/plus/rss.php

　　Disallow:/plus/search.php

　　Disallow:/plus/recommend.php

　　Disallow:/plus/stow.php

　　Disallow:/plus/count.php

　　Disallow:/include

　　Disallow:/templets