Блокировка SEO ботов: SemrushBot, LinkpadBot, BLEXBot

Кроме поисковых роботов, которые относительно полезны, на сайт часто заходят не очень желательные боты, собирающие сведения для конкурентов.

Пока они не создают нагрузки, можно их не замечать, но проще заблокировать, в логах меньше мусора и нагрузка на сервер.

Правила robots.txt они иногда соблюдают,

User-agent: BLEXBot
Disallow: /

иногда нет,

поэтому надежнее блокировать по заголовоку браузера у бота, например через файл .htaccess

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

WD5 - разработка сайтов

Блокировка SEO ботов: SemrushBot, LinkpadBot, BLEXBot