了解robots文件的用法！

　　1.“user-agent：*disallow：/”表示“禁止所有搜索引擎訪問網(wǎng)站的任何部分”，這相當(dāng)于該網(wǎng)站在搜索引擎里沒有記錄，也就談不上排名。

　　2.“user-agent：*disallow：”表示“允許所有的robots訪問”，即允許蜘蛛任意抓取并收錄該網(wǎng)站。這里需要注意，前兩條語法之間只相差一個(gè)“/”。

　　3.“user-agent：badbot disallow：/”表示“禁止某個(gè)搜索引擎的訪問”。

　　4.“user-agent：baiduspider disallow：user-agent：*disallow：/”表示“允許某個(gè)搜索引擎的訪問”。這里面的“baiduspider”是百度蜘蛛的名稱，這條語法即是允許百度抓取該網(wǎng)站，而不允許其他搜索引擎抓取。

　　我們?cè)趤砜纯词褂胷obots文件應(yīng)該注意什么？首先，在不確定文件格式怎么寫之前，可以先新建一個(gè)文本文檔，注意robots文件名必須是robots.txt，其后綴是txt并且是小寫的，不可以隨便更改，否則搜索引擎識(shí)別不了。然后打開該文件，可以直接復(fù)制粘貼別人的格式。

　　Robots文件格式是一條命令一行，下一條命令必須換行。還有，“disallow： ”后面必須有一個(gè)空格，這是規(guī)范寫法。