www.qianyikeji.com 之前網站在上線添加完善內容的時候設置了robots屏蔽搜索引擎抓取,中間可能持續了有2周左右的時間,現在網站資料已經添加完善,解除了robots屏蔽;但在百度搜索網址,仍然顯示“由于該網站的robots.txt文件存在限制指令(限制搜索引擎抓?。?,系統無法提供該頁面的內容描述 - 了解詳情”,這邊已經向百度提交了網址 sitemap地圖等 但是現在一個多月過去了 還是沒有解除。
通過以上我百度了好多資料 原來不是馬上能解除的一般要在2個月左右才能解除。
如果網友遇到這樣的情況一般你解除限制2個月內會恢復正常,原因是:首先要理解的就是robotx.txt是一個搜索引擎抓取協議而非指令,你解除但是在搜索引擎方面是有記錄的,所以不可能解除之后立即生效而是有延遲生效的情況。
在大連網站制作公司小編慎重的提醒各位朋友,新建的網站,千萬不要先把網站文件上傳到空間后加個robots.txt,然后填充信息,填充好了才開放抓取。如果可以在本地把網站建好,填充好內容再上傳最好,否則上傳到空間加robots禁止抓取,等開放抓取的時候,百度蜘蛛很可能又會幾個月時間都反應不過來。幾個月后網站才被收錄,對網站優化的周期影響無疑是巨大的。