Robots協(xié)議（蜘蛛人協(xié)議、機器人協(xié)議）告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

什么是robots.txt文件?

robots.txt文件是每一個搜索引擎蜘蛛到你的網站之后要尋找和訪問的第一個文件，robots.txt是你對搜索引擎制定的一個如何索引你的網站的規(guī)則。網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。這下知道這個文件對于網站的重要性了吧。

robots.txt文件有什么具體作用?

1、屏蔽網站內的死鏈接。(網站改版后出現的死鏈、網站被攻擊時來不及刪除的目錄文件和鏈接)

2、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面。

3、阻止搜索引擎索引網站隱私性的內容。(例如網站后臺的登陸地址)

robots.txt文件怎樣寫?

亞網互聯小編首先先給大家介紹幾個robots中用到的名詞：

（1）User-agent：意思是定義搜索引擎類型

因為搜索引擎有好幾種有：百度蜘蛛：Baiduspider;谷歌蜘蛛：Googlebot;360蜘蛛：360Spider;SOSO蜘蛛：Sosospider;有道蜘蛛：YoudaoBot;搜狗蜘蛛：Sogou News Spider

一般沒有特殊要求的話，正確寫法是：User-agent: * 意思是允許所有搜索引擎來抓取。這是robots.txt文件中第一行的寫法。

（2）Disallow：意思是定義禁止抓取的地址

就是禁止蜘蛛抓取的地址，在我們的網站是靜態(tài)或偽靜態(tài)的時候一般網站要禁止蜘蛛抓取動態(tài)路徑(?)、.js、后臺的文件等一些不想讓蜘蛛抓取的文件。它的正確的寫法如下：

Disallow: / 禁止蜘蛛抓取整站(一定不能這么寫，這樣會讓所有搜索引擎不來抓取你的網站內容)

Disallow: /wp-admin/ 禁止抓取網站中帶wp-admin的文件夾。

Disallow: /page/ 禁止抓取網站中帶page的文件夾。

Disallow: /*?* 禁止抓取網站中的所有動態(tài)路徑。

Disallow: /.js$ 禁止抓取網站中的所有帶.js的路徑。

Disallow: /*.jpg$ 禁止抓取網站中所有jpg圖片

(3)、Allow：意思是定義允許抓取收錄地址

這個就不需要多說了就是允許的意思，在robots文件中不寫Allow意思就是默認的允許，因此大家沒必要寫上。

(4)、常用的一些語法符號

/ 如果只是一個單個/,搜索引擎會認為是根目錄

* 是所有的意思;例如：Disallow: /*.jpg$ 是禁止抓取網站中所有jpg圖片

$ 是結束符

以上內容就是深圳網站建設小編為大家分享的robots.txt文件的定義、作用以及正確的寫法，這是SEO一項非常重要的優(yōu)化操作，大家一定要熟練掌握!

如沒特殊注明,文章均為深圳網站建設原創(chuàng),轉載請注明:亞網互聯www.fuhangvalve.cn