相信很多人都聽說過網站robots文件，也有很多人一直在用robots文件，也有很多人只是聽說過但是沒有用robots文件。所以仟億科技小編今天就寫一下關于robots文件的個人看法。

曾經覺得robots文件對網站的作用不大，直到我膝蓋中了一箭才知道其在網站中的重要性啊。

有一天http://www.fjlhjv.cn收錄出了問題，仟億科技官網全站采用靜態頁面，但是程序還是會自動保留生成動態頁面，所以有時候百度會選擇收錄動態頁面從而放棄收錄靜態頁面。也許有人說只要收錄不就好了，管他動態還是靜態呢。其實不是這樣的，如果網站中同一篇文章出現兩個網站，那就屬于重復頁面，對搜索引擎很不友好。所以在度娘那搜索下什么情況，說法不一，但是有一個說是robots文件沒寫好。然后我找了寫關于robots寫法的文章，基本了解下，知道了屏蔽搜索引擎爬行的寫法。

我用robots屏蔽收錄很多文件夾，只開放文章文件和文章目錄文件夾。兩天之后終于有了變化，百度不但不收錄動態頁面改收錄靜態頁面了，而且收錄數量立刻翻倍。從這個現象可以看出百度放蜘蛛的時候根據每個網站的不同會給不同網站蜘蛛不同的爬行力度，如果網站權重非常高，百度給蜘蛛的爬行力度就很高，這樣就會收錄很多。如果網站權重相對低，百度給你網站蜘蛛爬行力度就會偏低一些。但是不管權重高與低，百度給你網站蜘蛛爬行力度是一個大概定值的，這個定值你一定要用在刀刃上。盡量屏蔽掉沒有必要讓百度蜘蛛爬行的文件夾或者頁面，這樣能夠讓百度蜘蛛更好的爬行其他頁面。從而可以提高收錄數量。

---