湖北十一选五上海SEO百度排名優化_刷百度排名行業領先-利為匯SEO一站式SEO服務,幫助企業網站快速排名,快速上首頁!

湖北十一选五 > SEO問題解答 > 大量的搜索引擎爬蟲對網站的影響(整站優化方法)

湖北十一选五:大量的搜索引擎爬蟲對網站的影響(整站優化方法)

首頁 2020-02-26 17:34 SEO問題解答 89 ℃

湖北十一选五 www.bowhi.com

u=1970538420,1271128356&fm=26&gp=0.jpg

大量的搜索引擎爬蟲對網站的影響

1、浪費帶寬資源

如果你的網站帶寬資源有限,而爬蟲的量過多,導致正常用戶訪問緩慢,原本虛擬主機主機的連接數受限,帶寬資源也是有限,這種情況搜索引擎爬蟲受影響呈現更明顯。

2、過于頻繁的抓取會導致服務器報錯

如果搜索引擎爬蟲過于頻繁,會抓取掃描很多無效頁面,甚至抓頁面抓到服務器報502、500 、504等服務器內部錯誤了,蜘蛛爬蟲還在不停使勁抓取。

3、與網站主題不相關的搜索引擎爬蟲消耗資源

比如一淘網的抓取工具是一淘網蜘蛛(EtaoSpider),目前是被各大電子商務購物網站屏蔽的,拒絕一淘網抓取其商品信息及用戶產生的點評內容。

被禁止的原因首先應該是它們之間沒有合作互利的關系,還有就是EtaoSpider爬蟲是一個抓取最瘋狂的蜘蛛。

重點是EtaoSpider被抓取只會消耗你的網站資源,它不會給你帶來訪問量,或者其它對你有利用的。

4、無效的測試抓取

一些搜索引擎開發程序員,它們寫的爬蟲程序在測試爬行。

5、robots.txt文件也并非是萬能

肯定有很多人認為,在robots.txt設置屏蔽搜索引擎爬蟲即可,或者允許某些特定的搜索引擎爬蟲,能達到你預想效果。

正規搜索引擎會遵守規則,不過不會及時生效,但是據我對馬海祥博客的測試發現:實際上某些蜘蛛往往不是這樣的,先掃描抓取你的頁面,無視你的robots.txt,也可能它抓取后不一定留用,或者它只是統計信息,收集互聯網行業趨勢分析統計。

6、不是搜索引擎蜘蛛,但具有蜘蛛的特性

例如采集軟件,采集程序,網絡掃描e-mail地址的工具,各式各樣的SEO分析統計工具,千奇百怪的網站漏洞掃描工具等等,這些抓取對網站沒有任何好處!

如何解決無效搜索引擎蜘蛛取的問題

各種搜索引擎的蜘蛛爬蟲會不斷地訪問抓取我們站點的內容,也會消耗站點的一定流量,有時候就需要屏蔽某些蜘蛛訪問我們的站點。那么接下來,馬海祥就根據自己的經驗跟大家分享4種解決無效搜索引擎蜘蛛抓取的方法:

1、只運行常用的搜索引擎蜘蛛抓取

依據空間流量實際情況,就保留幾個常用的,屏蔽掉其它蜘蛛以節省流量。

2、通過服務器防火墻來屏蔽ip

從服務器防火墻iptable直接屏蔽蜘蛛IP段、詳細的IP,這是最直接、有效的屏蔽方法。

3、WWW服務器層面做限制

例如Nginx,Squid,Lighttpd,直接通過“http_user_agent”屏蔽搜索引擎爬蟲。

4、最后robots.txt文件做限制

搜索引擎國際規則還是要遵循規則的。

當前位置:湖北十一选五 > SEO問題解答 > 大量的搜索引擎爬蟲對網站的影響(整站優化方法)

搜索
網站分類
標簽列表
{ganrao} 投资理财产品 理财中风险会亏本金吗 云南时时彩多少分开奖 上海十一选五 宁夏11选五走势今天 七星彩预测最准号码 甘肃十一选五今日号码推荐 安徽十一选五赢钱 江西多乐彩开奖一定牛 十一选五任三稳赚技巧 上海老张期货配资 腾讯幸运28 贵州快三开奖结果全部 金螳螂股票 江西时时彩历史号码 吉林快3走势图表