如何屏蔽谷歌爬虫搜索，及其它搜索爬虫？

显示全部楼层 · 2023-5-31 19:36:34

如何屏蔽谷歌爬虫搜索，及其它搜索爬虫？有没有什么插件可以控制的，爬虫太平凡爬去给服务器好大压力？

admin已获得悬赏 1 铜钱+1 铜钱

可以利用.htaccess设置搜索引擎屏蔽，例如：不同的搜索引擎蜘蛛用竖线|分隔

admin · 2023-5-31 19:40:20

可以利用.htaccess设置搜索引擎屏蔽，例如：

SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
Deny from env=bad_bot

复制代码

不同的搜索引擎蜘蛛用竖线|分隔

[已解决] 如何屏蔽谷歌爬虫搜索，及其它搜索爬虫？