| 什么是robots文件？

Robots是站點(diǎn)與spider溝通的重要渠道，是網(wǎng)站與搜索引擎爬蟲之間的協(xié)議，告知哪些可抓取哪些不允許。

| 為什么要做robots文件？

網(wǎng)站上總有一些頁(yè)面是禁止蜘蛛抓取的。例如：搜索頁(yè)面、篩選頁(yè)面、后臺(tái)登錄地址等。

| 如何制作 robots文件？

編寫robots.txt文件并上傳到網(wǎng)站根目錄。

| 制作 robots.txt注意事項(xiàng)

●?所有搜索引擎則用星號(hào)表示

●?Allow（允許）和Disallow（不允許）優(yōu)先級(jí)

●?至少屏蔽一個(gè)，可以屏蔽：搜索結(jié)果頁(yè)面/404頁(yè)面

●?記得將sitemap放到Robots文件中

●?可以陸續(xù)放入更多，而不是一次性決定所有

●?網(wǎng)站后臺(tái)地址/圖片地址/下載文件地址/錯(cuò)誤鏈接