問題：z-blog網(wǎng)站robots怎么設(shè)置？

回答：這個(gè)是問題是筆者看到有朋友在搜外上提問，穩(wěn)到zblog網(wǎng)站robots文件設(shè)置的問題。具體內(nèi)容如下：

為什么z-blog很多模板商、或者SEO插件商都推薦下面這種robots寫法？？ 除了安裝文件就這兩個(gè)文件為什么要全禁止了？

怪的是全部禁止后通過站長工具檢測居然是正常的，原理是什么回事，百度蜘蛛也都能正常抓取嗎？

User-agent: *

Disallow: /zb_users/

Disallow: /zb_system/

Sitemap:

首先解釋下，前面robots代碼里寫到的，是禁止zb_users和zb_system文件目錄下文件被搜索引擎抓取，這樣寫是沒有錯(cuò)的。因?yàn)檫@兩個(gè)目錄下的文件沒有被抓取的必要。

那么為什么禁止蜘蛛抓取了，站長工具測試還是正常能抓取呢？原因可能有三個(gè)：

1、robots文件沒有上傳成功；

2、robots文件在搜索引擎那里沒有更新；

3、站長工具檢測不準(zhǔn)。

解釋了問題出現(xiàn)的原因，我們再來看看z-blog網(wǎng)站robots怎么設(shè)置。本站的主程序就是zblog的，來看看本站的robots文件，如下圖：

可以看到對于主站的zblog程序，筆者并沒有設(shè)置任何的限制抓取，只是對于目錄下的bbs論壇做了限制。事實(shí)上這沒有任何的問題，也就是說對于zblog我們無需糾結(jié)哪些目錄文件需要禁止抓取，直接開放全部抓取也不會(huì)出現(xiàn)影響。

robots文件的作用的確是存在的，對于內(nèi)容比較多的大站來說，通過robots的設(shè)置，可以有效的調(diào)節(jié)蜘蛛抓取的資源。比如說商城網(wǎng)站會(huì)出現(xiàn)很多的幫助文檔，這些幫助文檔就可以通過robots的設(shè)置來限制抓取，從而節(jié)省了蜘蛛抓取頻次。但是大家要注意一個(gè)問題，那就是對于那些正常不需要被抓取的頁面，設(shè)置robots還是有必要的，但是對于zblog這種系統(tǒng)文件，設(shè)置與否其實(shí)無關(guān)緊要。如果硬是要去設(shè)置的話，按照前面代碼那樣做，是可以的。

關(guān)于z-blog網(wǎng)站robots怎么設(shè)置的問題，筆者就簡要的說這么多?？傊畞碚f就是，zblog的系統(tǒng)文件不需要被抓取，但正常情況下搜索引擎也不會(huì)去抓取，所以設(shè)置與否其實(shí)沒有很大影響。不想麻煩的話，直接全部開放抓取即可；實(shí)在不放心的，也可以去做下限制。