寶塔面板屏蔽垃圾搜索引擎蜘蛛和掃描工具的辦法

批發認證公眾號 | 批發已備案域名

3179787531

一流源碼源碼搜藏基地網站源碼、商業源碼之家免費論壇

注:本站源碼僅做學術研究,自娛自樂使用,不得用于任何的非法商業用途

目前除了我們常見的搜索引擎如百度、Google、Sogou、360等搜索引擎之外,還存在其他非常多的搜索引擎,通常這些搜索引擎不僅不會帶來流量,因為大量的抓取請求,還會造成主機的CPU和帶寬資源浪費,屏蔽方法也很簡單,按照下面步驟操作即可,原理就是分析指定UA然后屏蔽。

首先進入寶塔面板,文件管理進入/www/server/nginx/conf目錄,新建空白文件kill_bot.conf。然后將以下代碼保存到當前文件中。

#禁止垃圾搜索引擎蜘蛛抓取

if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") {
?return 403;
?break;
}

#禁止掃描工具客戶端
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy" ) {
?return 403;
?break;
}

保存后返回到寶塔 - 【網站】-【設置】點擊左側 【配置文件】選項卡,在 ????#SSL-START SSL相關配置,請勿刪除或修改下一行帶注釋的404規則?上方空白行插入代碼:?include?kill_bot.conf;???保存后即可生效,這樣這些蜘蛛或工具掃描網站的時候就會提示403禁止訪問。

PHP源碼|八爺源碼|隨便擼源碼|PHP85|源碼屋|碼農網|站長導航|阿奇源碼|開源之家|144源碼|日源碼|免費源碼|源碼下載|商業源碼|免費織夢模板|免費WordPress主題
本文/資源來源于網絡,由 奇偶貓源碼 整理發布。如需轉載,請注明文章來源。

4
奇偶貓

發表評論

亚洲成aⅴ人片