湖北十一选五上海SEO百度排名優化_刷百度排名行業領先-利為匯SEO一站式SEO服務,幫助企業網站快速排名,快速上首頁!

湖北十一选五 > SEO問題解答 > 利用robots協議如何屏蔽百度蜘蛛抓取??(整站優化方法)

湖北十一选五:利用robots協議如何屏蔽百度蜘蛛抓取??(整站優化方法)

首頁 2020-02-26 15:11 SEO問題解答 89 ℃

湖北十一选五 www.bowhi.com

u=3215367534,4213611890&fm=26&gp=0.jpg

利用robots協議如何屏蔽百度蜘蛛抓取 ?


robots協議是放在網站根目錄下的協議文件,可以通過網址訪問,當百度蜘蛛抓取我們的網站時,它會先訪問這個文件。因為它告訴蜘蛛哪些能抓,哪些不能。 

robots協議文件的設置比較簡單,可以通過User-Agent、Disallow、Allow這三個參數進行設置。 

User-Agent:對不同搜索引擎的聲明;

Disallow:不允許抓取的目錄或頁面;

Allow:被允許抓取的目錄或頁面通??梢允÷曰蠆恍?,因為如果你不寫任何不能抓取的東西,它就可以被抓取。

當我不希望百度抓取我網站所有的css文件,data目錄、seo-tag.html頁面 

User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html 

如上所述,user-agent聲明了蜘蛛的名稱,這意味著它針對的是百度蜘蛛。以下內容無法獲?。?/span>quot;/*。cssquot;,首先/指的是根目錄,這是您的域名。*是代表任何內容的通配符。這意味著無法抓取以.css結尾的所有文件。這是你自己的兩個經歷。邏輯是一樣的。 

通過403狀態碼,限制內容輸出,屏蔽蜘蛛抓取。 

403狀態代碼是http協議中的網頁返回狀態代碼。當搜索引擎遇到403狀態代碼時,它知道這些頁面受權限限制。我無法訪問它。例如,如果您需要登錄才能查看內容,搜索引擎本身將無法登錄。如果您返回403,他也知道這是權限設置頁面,無法讀取內容。當然,它不會被包括在內。 

返回403狀態代碼時,應該有一個類似于404頁面的頁面。提示用戶或蜘蛛執行他們想要訪問的內容。兩者都是不可或缺的。您只有提示頁面,狀態代碼返回200,這是百度蜘蛛的大量重復頁面。有403個狀態代碼但返回不同的內容。這也不是很友好。 

當前位置:湖北十一选五 > SEO問題解答 > 利用robots協議如何屏蔽百度蜘蛛抓取??(整站優化方法)

搜索
網站分類
標簽列表
{ganrao} 爱彩乐重庆快乐十分遗漏 真钱怎么来的 期货配资公司·杨方配资平台 陕西体彩十一选五一定牛走势图 双色球app安卓版 快三平台官网 如何找股票配资代理商 好彩1开奖结果彩经网 能买青海快三的平台 股票涨跌与什么有关 北京pk10号码预测网 有江西快三的彩票台子 期货配资软件 天津快乐十分秘籍 体育彩票玩法中奖规则 三羊配资陷阱