客服
利用robots.txt禁止百度蜘蛛Baidusppider抓取
User-agent: *Disallow: /Allow: /complain/Allow: /media_partners/Allow: /about/Allow: /user_agreement/User-agent: ByteSpiderAllow: /User-agent: ToutiaoSpiderAllow: /
以上是今日頭條的robots.txt，禁止所有搜索引擎收錄，同時又允許字節(jié)蜘蛛、頭條蜘蛛抓取。比較牛，不依靠其他搜索引擎，和淘寶一樣！
robots協(xié)議文件屏蔽百度蜘蛛抓取
robots協(xié)議是一個放在網(wǎng)站根目錄下協(xié)議文件，可以通過URL地址：http://你的域名/robots.txt進行訪問。當(dāng)百度蜘蛛抓取我們網(wǎng)站時，會先訪問這個文件。因為里面告訴了蜘蛛哪些可以抓取，哪些不可以抓取。
robots協(xié)議文件的設(shè)置比較簡單，可以通過User-Agent、Disallow、Allow這三個參數(shù)進行設(shè)置。
User-Agent：對不同搜索引擎的聲明；
Disallow：不允許抓取的目錄或頁面；
Allow：允許抓取的目錄或頁面，一般可以省略不寫，因為你不寫什么是不可以抓的那就都是可以抓的；
下面我們來看一個示例，場景是我不希望百度抓取我網(wǎng)站所有的css文件，data目錄、seo-tag.html頁面
User-Agent: Baidusppider
Disallow: /*.css
Disallow: /data/
Disallow: /seo/seo-tag.html
如上，user-agent聲明的蜘蛛名稱，這個意思也就是說，針對百度蜘蛛。下面不能抓取”/*.css”，首先前面的/指的是根目錄，也就是你的域名。*是通配符，代表任意內(nèi)容。其意思就是所有文件，以.css結(jié)尾的都不能抓取。下面兩個你自己體會吧。邏輯是一樣的。
相關(guān)文章：
-
帝國CMS是什么程序 帝國CMS是一套開源的靜態(tài)頁面程序，憑借超高的擴展性，很多知名的新聞?wù)军c、行業(yè)站點都是應(yīng)用的帝國CMS后端。因為帝國CMS和dedecms一樣都是生成靜態(tài)頁面的，所以非常利于...
-
域名解析DNS分為顯性URL和隱形URL，顯性URL和隱形URL有什么區(qū)別？隱形URL和顯性URL哪個更有利于SEO？顯性URL相當(dāng)于域名了302重定向，隱形URL使用iframe框架技術(shù)隱藏真實目標地址，顯性URL更有利于...
-
在常見的CMS系統(tǒng)中，我對dedecms算是比較熟悉的，自己網(wǎng)站用的也是這個系統(tǒng)。系統(tǒng)功能強大使用靈活，相信這也是它受到大多數(shù)中小站長青睞的原因。 再好的系統(tǒng)也有照顧不周的地方，很多站...
-
這篇文章主要為大家詳細介紹了dedecms后臺增加php導(dǎo)出excel功能實現(xiàn)辦法，具有一定的參考價值，感興趣的小伙伴們可以參考一下,有需要的朋友可以收藏方便以后借鑒。 不少朋友希望織夢的后臺...
-
第一次使用的插件是 pdfobject.js 百度網(wǎng)盤下載地址：http://pan.baidu.com/s/1kUPhYdT 加載 script src=/style/js/pdfobject.js /script script type=text/javascript window.onload = function (){ var success = new PDFObject({ url: pdf文件地...
-
網(wǎng)上有一種方法是copy+unlink來移動文件，但是遇到大文件時會消耗大量時間，對性能不怎么友好，可以使用rename()來移動文件，速度非?？?關(guān)于rename()函數(shù) bool rename ( string $oldname , string $newname...
-
基于我們公司可選的幾種推廣方式： 一、關(guān)鍵詞優(yōu)化排名推廣（推薦） 指定關(guān)鍵詞推廣，按天付費，推廣我們業(yè)務(wù)中最重要的一些關(guān)鍵詞，達到百度首頁才收費，大概一個關(guān)鍵詞10元/天左右。...
-
插件介紹 wordpress程序網(wǎng)站在發(fā)布文章時可以給每一片文章添加與之相關(guān)的TAG標簽，對于TAG標簽可以生成很多頁面，增加搜索引擎對內(nèi)容的抓取量。 WP Auto Keywords插件就是一款能自動給文章添加...
-
5.7 生成列表頁 改動 include/arc.listview.class.php 1.先設(shè)置 關(guān)閉副欄目（在系統(tǒng)----系統(tǒng)基本參數(shù)性能選項里） 2.一般網(wǎng)站不需要 欄目交叉 交叉 所以 找到94行注釋掉： //獲得交叉欄目ID /*if($this-Type...
-
使用preg_replace將刪除所有空白(包括制表符等) $string = user na me $string = preg_replace(/\s+/, , $string); echo $string; // username preg_replace(/\s/u, ,$string) u (PCRE8) 此修正符打開一個與perl不兼容的附加功能. 模式...