GSLFbot

По одному из сайтов начал очень активно лазить GSLFbot, поискал что это GSLFbot за бот.

Однозначного ответа нету — по блоку IP адресов, бот похоже принадлежит Amazon, другие говорят что это спам бот, третьи что это бот Bing, четвертые что это гугловский спам бот и сайт после этого забанят в поисковике (это похоже на глупость). Бот создает много запросов и игнорирует директивы прописанные в robots.txt.

Некоторые его банят, для этого нужно указать в .htaccess

RewriteCond %{HTTP_USER_AGENT} ^GSLFbot
RewriteRule ^.* - [F,L]

P.S. если вы знаете что это за бот, напишите, пожалуйста, в комментах.