Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，更好的保護(hù)用戶的隱私和版權(quán)信息。

　　Robots協(xié)議可能給我們網(wǎng)站帶來的好處：

　　1、 可以制止不必要的搜索引擎占用服務(wù)器的寶貴帶寬，例如，E-MAIL這類搜索引擎對大多數(shù)網(wǎng)站是沒有意義的；再有像image strippers，對于大多數(shù)非圖形類網(wǎng)站來說也沒有太大的意義，但是卻耗用了大量的帶寬。

　　2、 可以制止搜索引擎對非公開頁面的爬行與索引，如網(wǎng)站的后臺程序、管理程序，事實(shí)上，對于某些在運(yùn)行中面臨頁面的網(wǎng)站來說，如果沒有配置robots協(xié)議，搜索引擎甚至?xí)饕切┡R時(shí)文件。

　　Robots協(xié)議可能給我們帶來的風(fēng)險(xiǎn)：

　　給攻擊者指明了網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)的所在位置。雖然在WEB服務(wù)器的安全措施配置得當(dāng)?shù)那疤嵯逻@不是很大的問題，但是降低了那些不懷好意者的攻擊難度。

　　Robots協(xié)議可以保護(hù)網(wǎng)絡(luò)安全，以免網(wǎng)絡(luò)陷入混亂的狀態(tài)，可以在信息多元化的時(shí)代為網(wǎng)絡(luò)傳播保駕護(hù)航。