上一篇我們提到： 今天我們來說說新都網(wǎng)站推廣蜘蛛池做seo優(yōu)化排名推廣的文章，說白了，蜘蛛池就是一組由垃圾域名組成的網(wǎng)站。 每個站點下都會生成大量頁面（一堆文本內(nèi)容相互組合），頁面模板與普通網(wǎng)頁沒有太大區(qū)別。 由于每個站點都有大量的頁面，整個站點組的蜘蛛抓取總量也是巨大的。 未收錄頁面引入蜘蛛就是在站群正常頁面的模板中單獨
接下來我們進入今天的正文:今天新都網(wǎng)站建設(shè)公司無意中發(fā)現(xiàn)我的兩個站點的訪問速度都很慢。 登錄阿里云查看ECS服務(wù)器后，發(fā)現(xiàn)CPU使用率經(jīng)常達到99-100%。 看了日志，發(fā)現(xiàn)yisouspider（一只蜘蛛，應(yīng)該是現(xiàn)在的蜘蛛在瘋狂爬行，即使我在robots.txt中設(shè)置了禁止爬行的路徑，它們也在爬行。如果是凌晨爬行，我 不說了，原來是光天化日之下瘋狂爬，分分鐘就可以癱瘓我們的網(wǎng)站，我發(fā)現(xiàn)很多人都在吐槽這個yisouspider，新都網(wǎng)站建設(shè)公司Yisou爬行如何屏蔽一搜蜘蛛訪問網(wǎng)站了啦？最后的解決辦法就是直接禁止yisouspider的爬取和訪問。
robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫。
具體寫法：
1) 完全禁止yisouspider抓取：
User-agent: yisouspider
Disallow: /
2) 禁止yisouspider抓取指定目錄
User-agent: yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目錄下網(wǎng)頁
以上就是新都網(wǎng)站建設(shè)公司Yisou爬行如何屏蔽一搜蜘蛛訪問網(wǎng)站的處理辦法。
掃一掃，瀏覽關(guān)注本文
晉沙匯川服裝定制網(wǎng)站建設(shè)
康偉管業(yè)/PP超靜音排水管材/網(wǎng)站建設(shè)
五菱電動觀光車網(wǎng)站建設(shè)
宏冠服飾網(wǎng)站建設(shè)
阿杰美容美發(fā)培訓(xùn)網(wǎng)站建設(shè)
天翊裝飾網(wǎng)站建設(shè)
高鐵乘務(wù)/成都職業(yè)學(xué)校/四川高鐵職業(yè)技術(shù)學(xué)校/···
蜀豐食品包裝網(wǎng)站建設(shè)
實力讓我們引領(lǐng)行業(yè)為您鎖住健康，讓食品更安全，讓生活更健康！成都市都江堰市蜀豐食品包裝有限公司成立于2014年初，是一家集研···
功夫螞蟻是一家專注于麻辣燙,火鍋,串串香行業(yè)的優(yōu)質(zhì)餐飲連鎖加盟公司。提供火鍋串串香加盟免費指導(dǎo)、火鍋加盟店選址等,讓您在加盟···
成都印刷網(wǎng)站建設(shè),成都印刷廠網(wǎng)站設(shè)計,成都畫冊印刷網(wǎng)站制作,成都畫冊制作網(wǎng)站建設(shè),成都印刷廠家網(wǎng)站建設(shè),四川印刷網(wǎng)站建設(shè),四川···
天翊裝飾公司網(wǎng)站以html5響應(yīng)式一體化設(shè)計制作，高端大氣上次，關(guān)鍵詞：裝修公司網(wǎng)站建設(shè)，裝飾公司網(wǎng)站建設(shè)，成都裝修公司網(wǎng)站建···
網(wǎng)站以HTML5制作，pc+wap網(wǎng)站制作自動跳轉(zhuǎn)。關(guān)鍵詞：五菱觀光車網(wǎng)站建設(shè),五菱巡邏車網(wǎng)站建設(shè),封閉電動巡邏車網(wǎng)站建設(shè),封閉電動觀···
網(wǎng)站以定制，訂制服裝網(wǎng)站建設(shè)為主的關(guān)鍵詞，網(wǎng)站全新的以HTML5框架定制設(shè)計，整站目錄清新明了，利于網(wǎng)站優(yōu)化，搜索引擎蜘蛛爬行···
掃碼訪問手機網(wǎng)站
版權(quán)所有 Copyright ? 2007-2024 四川冠辰科技開發(fā)有限公司 
川公安網(wǎng)備案：51010602001006號
地址：四川省成都市金牛區(qū)五福橋東路229號龍湖北城天街28棟903 蜀ICP備11012605號-1
始于2007年，十五年品牌網(wǎng)站建設(shè),值得信賴!
手機
官網(wǎng)
掃碼訪問手機官網(wǎng)
