上一篇我們提到: 使用大中型網站的搜索結果頁面進行推廣排名。 溫江seo優化推廣說說如何使用蜘蛛池快速萬詞霸屏,估計在大中型網站工作的同學都遇到過。 他們使用業務電話詞(主要是商務聯系方式,如“成都網站建設02886088588”)作為查詢來構建搜索結果頁面。 url,并主動將url暴露給搜索引擎進行爬取,從而達到商業詞在搜索
接下來我們進入今天的正文:對于Apache和PHP代碼屏蔽yisouspider的辦法懿古今沒有親自測試,本站只采用了Nginx屏蔽yisouspider的辦法,所以如果采用其他方法遇到問題的請前往溫江網站建設公司留言求助。
溫江網站建設公司的Apache屏蔽爬蟲yisouspider訪問站點方法
1、通過修改 .htaccess文件
修改網站目錄下的.htaccess,添加如下代碼即可(2種代碼任選):
可用代碼 (1):
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]
可用代碼 (2):
SetEnvIfNoCase ^User-Agent$ .*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT
2、通過修改httpd.conf配置文件
找到如下類似位置,根據以下代碼 新增 / 修改,然后重啟Apache即可:
DocumentRoot /home/wwwroot/xxx
<Directory "/home/wwwroot/xxx">
SetEnvIfNoCase User-Agent ".*(yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
</Directory>
以上溫江網站建設公司的Apache屏蔽爬蟲yisouspider訪問站點方法
掃一掃,瀏覽關注本文
網站以定制,訂制服裝網站建設為主的關鍵詞,網站全新的以HTML5框架定制設計,整站目錄清新明了,利于網站優化,搜索引擎蜘蛛爬行···
實力讓我們引領行業為您鎖住健康,讓食品更安全,讓生活更健康!成都市都江堰市蜀豐食品包裝有限公司成立于2014年初,是一家集研···
天翊裝飾公司網站以html5響應式一體化設計制作,高端大氣上次,關鍵詞:裝修公司網站建設,裝飾公司網站建設,成都裝修公司網站建···
成都印刷網站建設,成都印刷廠網站設計,成都畫冊印刷網站制作,成都畫冊制作網站建設,成都印刷廠家網站建設,四川印刷網站建設,四川···
金鹿凱斯服飾/服裝網站建設以html5響應式一體化設計制作,手機端自動響應,高端大氣上次,關鍵詞:成都職業裝網站建設,成都職業裝···
掃碼訪問手機網站
版權所有 Copyright ? 2007-2024 四川冠辰科技開發有限公司 川公安網備案:51010602001006號
地址:四川省成都市金牛區五福橋東路229號龍湖北城天街28棟903 蜀ICP備11012605號-1
始于2007年,十五年品牌網站建設,值得信賴!