新浪死鏈處理經(jīng)驗(yàn)分享
在第四次深“度”接觸結(jié)束后,spider工程師表示新浪的死鏈處理工作一直效果不錯(cuò),提醒學(xué)院應(yīng)該請其做個(gè)分享。新浪穩(wěn)座國家級門戶頭把交椅,誰還敢說自己網(wǎng)站結(jié)構(gòu)的復(fù)雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預(yù)防(重要頁面因修改而產(chǎn)生死鏈)方面的經(jīng)驗(yàn)。
一、在以下背景下會較多產(chǎn)生死鏈:
1、時(shí)政新聞的敏感性;
2、來自監(jiān)管的刪除需求;西安做網(wǎng)站推薦閱讀>>> 死鏈對網(wǎng)站的影響、產(chǎn)生過程、解決辦法匯總,
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動(dòng)優(yōu)化和定期清除的需求
二、死鏈分類:
由于系統(tǒng)架構(gòu)、歷史遺留問題、多業(yè)務(wù)系統(tǒng)交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協(xié)議死鏈,服務(wù)器端返回HTTP狀態(tài)碼404;西安網(wǎng)站建設(shè)推薦閱讀>>> 【官方說明】百度搜索標(biāo)準(zhǔn)死鏈官方文檔-協(xié)議死鏈、內(nèi)容死鏈和跳轉(zhuǎn)死鏈,
例如:‘誰在偽善’
http://news.sina.com.cn/movie/music/1999-06-15/2965.shtml
2,內(nèi)容死鏈,服務(wù)器端返回HTTP狀態(tài)碼200,無法設(shè)置為404;
例如:http://news.sina.com.cn/c/2015-04-23/184531753084.shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導(dǎo)致反復(fù)上下線形成協(xié)議死鏈或內(nèi)容死鏈。例如:http://news.sina.com.cn/2015-12-05/doc-ifxmhqaa9933763.shtml
上線后又下線,后又上線,甚至反復(fù)多次。由于下線期間存在協(xié)議死鏈或內(nèi)容死鏈的情況,導(dǎo)致百度認(rèn)為該頁面應(yīng)該被刪除,不被收錄,且即使后續(xù)重新上線也無法恢復(fù)收錄。對于這種情況,應(yīng)加以預(yù)防。
三、解決方案:
1、協(xié)議死鏈,這個(gè)最符合HTML標(biāo)準(zhǔn)處理方式,站點(diǎn)方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/college/courseinfo?id=267&page=4#h2_article_title18)進(jìn)行主動(dòng)提交
2,無法設(shè)置協(xié)議死鏈接,僅主體內(nèi)容文本被刪除的內(nèi)容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標(biāo)準(zhǔn)流程》:用站內(nèi)標(biāo)準(zhǔn)內(nèi)容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要?jiǎng)h除的頁面,5秒后跳轉(zhuǎn)到統(tǒng)一的全站導(dǎo)航頁,以減少用戶流失。
2)根據(jù)需要,比如根據(jù)特定關(guān)鍵詞圈定一批最終需要處理為協(xié)議死鏈的敏感頁面,將這些頁面鏈接放到一個(gè)文件里,由專人在服務(wù)器端修改成協(xié)議死鏈。通過百度站長平臺工具進(jìn)行死鏈提交
3,針對反復(fù)上下線導(dǎo)致百度誤判為死鏈的情況,新浪的預(yù)防辦法是:
1)制度上:系統(tǒng)后臺設(shè)置提醒,提醒編輯上線后除非特殊情況不要下線;西安網(wǎng)站建設(shè)推薦閱讀>>> 如何檢查死鏈,
2)功能上:這種情況在專題運(yùn)營中最常見,且影響比單篇新聞頁要大,由于我站點(diǎn)運(yùn)營規(guī)定是不能刪除頁面的,因此在系統(tǒng)后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調(diào)整為不對外顯示(對編輯來說不是刪除,而是暫時(shí)下線,調(diào)整為外網(wǎng)用戶無法訪問,可隨時(shí)再次重新上線)”兩個(gè)功能嚴(yán)格區(qū)分開,并提供回收功能。針對“將專題調(diào)整為不對外顯示”這種情況,不再將頁面更新為內(nèi)容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點(diǎn)不設(shè)置入口、不進(jìn)行推廣,用戶沒有訪問來源而已。
相關(guān)文章:
-
在學(xué)習(xí)SEO的時(shí)候我們會接觸鏈接這個(gè)東西,在SEO界鏈接基本分為內(nèi)鏈、外鏈(友情鏈接也被稱為外鏈)、反鏈、死鏈四大類。那么,我為何要單獨(dú)闡述死鏈這個(gè)東西呢?因?yàn)樗梨準(zhǔn)钱?dāng)內(nèi)鏈和外...
-
在網(wǎng)站日常運(yùn)營,死鏈?zhǔn)请y免會產(chǎn)生的,不僅影響了用戶體驗(yàn),也影響了搜索效果;針對這一現(xiàn)象,我們邀請了站長社區(qū)版主三木為大家分享死鏈處理心得。 本文主要講述死鏈對網(wǎng)站的影響;...
-
大量死鏈對搜索引擎來講,有什么影響? 1、幾乎很多站都避免不了存在死鏈接,但死鏈率過高,會影響搜索引擎對網(wǎng)站的評分。 2、搜索引擎對每個(gè)網(wǎng)站每天抓取的頻次是限額的,若網(wǎng)站存在大...
-
幾乎所有網(wǎng)站都會出現(xiàn)不再需要展現(xiàn)的網(wǎng)頁,如何處理這樣的網(wǎng)頁也成為站長經(jīng)常談?wù)摰脑掝}。為此,百度站長學(xué)院專訪了負(fù)責(zé)死鏈識別處理的工程師,了解到百度眼中的死鏈其實(shí)包括三種:...
-
前段時(shí)間服務(wù)器被入侵,掛了很多博彩之類的黑頁,而且全部被百度收錄。 現(xiàn)在把漏洞補(bǔ)好了,但刪除黑頁文件以后成了死鏈,要怎么讓百度刪除收錄呢? 在網(wǎng)上找了一下,似乎只有檢測網(wǎng)址...
-
上次說到如何正確設(shè)置死鏈,關(guān)鍵點(diǎn)在于http狀態(tài)碼一定要迅速返回,不要有延遲,那么接下來使用百度站長平臺提供的死鏈提交工具要注意什么呢? 昨天百度站長平臺又接到了反饋,站長說死...
-
在學(xué)習(xí)SEO的時(shí)候我們會接觸鏈接這個(gè)東西,在SEO界鏈接基本分為內(nèi)鏈、外鏈(友情鏈接也被稱為外鏈)、反鏈、死鏈四大類。那么,我為何要單獨(dú)闡述死鏈這個(gè)東西呢?因?yàn)樗梨準(zhǔn)钱?dāng)內(nèi)鏈和外...
-
最近頻繁接到某站長反饋:已對自己論壇的垃圾帖做死鏈處理、并已使用百度站長平臺提供的死鏈提交工具,但相關(guān)鏈接依然未得到處理。經(jīng)百度站長平臺追查,發(fā)現(xiàn)該站長提供的所謂死鏈并...
-
第一步,處理網(wǎng)站已存在的死鏈,制作死鏈文件篩查網(wǎng)站內(nèi)部存在的死鏈,并將這些死鏈頁面設(shè)置成為404頁面,即百度訪問它們時(shí)返回404代碼。將需提交的死鏈列表制作成一個(gè)死鏈文件,制作...
-
一、死鏈介紹 1、什么是死鏈 頁面已經(jīng)無效,無法對用戶提供任何有價(jià)值信息的頁面就是死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。 協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死...