404頁面出現(xiàn)在用戶或蜘蛛訪問網(wǎng)站不存在url時，一般內(nèi)容轉(zhuǎn)移或url結(jié)構(gòu)改變時會造成404狀態(tài)頁面。尤其在網(wǎng)站改版時，內(nèi)容及網(wǎng)站結(jié)構(gòu)的調(diào)整很可能造成大量舊的url無法訪問，這些無法訪問的頁面對用戶及搜索引擎都是有負面影響的。
百度官方在公告中明確指出：
404頁面是網(wǎng)絡(luò)服務(wù)器返回的http狀態(tài)碼表示網(wǎng)頁未找到，用戶及蜘蛛無法訪問，是一種協(xié)議死鏈。這種死鏈頁面需主動推送，使搜索引擎能夠更快地發(fā)現(xiàn)并做相應(yīng)處理，減少404死鏈內(nèi)容對用戶及搜索引擎造成的負面影響。
另外，在百度官方抓取異常說明中也談到這個問題：
一、什么是死鏈?
頁面已經(jīng)無效，無法對用戶提供任何有價值信息的頁面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。
協(xié)議死鏈：頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、403、503狀態(tài)等。
內(nèi)容死鏈：服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。
對于死鏈，建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎造成的負面影響。
二、抓取異常對網(wǎng)站的影響有哪些?
對于大量內(nèi)容無法正常抓取的網(wǎng)站，搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷，并降低對網(wǎng)站的評價，在抓取、索引、權(quán)重上都會受到一定程度的負面影響，最終影響到網(wǎng)站從百度獲取的流量。
三、及時處理死鏈可以給站長帶來什么?
當網(wǎng)站死鏈數(shù)據(jù)累積過多時，并且被展示到搜索結(jié)果頁中，對網(wǎng)站本身的訪問體驗和用戶轉(zhuǎn)化都起到了負面影響。另一方面，百度檢查死鏈的流程也會為網(wǎng)站帶來額外負擔，影響網(wǎng)站其他正常頁面的抓取和索引。
優(yōu)化用戶體驗：減少死鏈對網(wǎng)站品牌的損傷和用戶的差評度
改善網(wǎng)站排名：減少死鏈對線上搜索排名的負面影響
增加網(wǎng)站收錄：提交死鏈列表后，增加網(wǎng)站內(nèi)容的收錄幾率
提升網(wǎng)站流量：排名和收錄改善后，間接提升網(wǎng)站流量
由上述內(nèi)容可明確看出，404頁面確定會對搜索引擎造成負面影響，甚至可能會造成網(wǎng)站的降權(quán)!
因而，若網(wǎng)站改版后造成舊url無法訪問出現(xiàn)大量404頁面時，需要將這些鏈接通過百度站長工具提交，若量過大無法提交，則需在robots.txt中禁止搜索引擎爬取，這樣就可以有效的避免蜘蛛在爬取網(wǎng)站時出現(xiàn)大量404狀態(tài)碼而造成蜘蛛資源的浪費及權(quán)重的流失、差的蜘蛛“印象”等一系列降權(quán)可能。
根據(jù)404頁面url結(jié)構(gòu)在robots.txt中進行disallow。如笨鳥博客最近的一次改版將tag頁面原有的/post/tag/結(jié)構(gòu)改為/tag/更改了tag頁的目錄層級及所屬以利于網(wǎng)站整體目錄清晰便于統(tǒng)計等，由此產(chǎn)生的大量404頁面笨鳥在robots.txt中以Disallow:/post/tag/形式禁止抓取。
大量404頁面會明顯造成蜘蛛資源的浪費，尤其對于中小網(wǎng)站，其負面影響不容忽視!
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
