сайтоводческое
June 3, 2024

Нашествие ботов нейросетей

В субботу по утру, зашедши на форум, проверить не накидали ли нехорошие люди спама, обратил внимание на наличие пары сотен гостей в статистике форума. Увы, но в нормальной жизни такого не бывает, потому сразу заподозрил неладное и полез в сессии посмотреть кто же это там ошивается. Может роботы какие взбесились? И точно, куча сессий от пары совершенно новых ботов: ClaudeBot и GPTBot.

Mozilla/5.0 AppleWebKit/537.36
   (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
   
Mozilla/5.0 AppleWebKit/537.36
   (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

IP адреса указывают на сервера Амазоновских облаков.

Судя по названию - собирают данные для обучения нейросетей. Причем подключено просто совершенно неприличное количество коннектов.

Мало того, что я вообще не очень хорошо ко всем этим нейросетям отношусь, так еще и у меня нет никакого желания предоставлять им контент для обучения. Тем более учитывая создаваемую нагрузку. Да и толку от них мне никакого совершенно, в отличии от ботов сайтов рейтингов, uptime и т.п. Не говоря уже о поисковиках, с которыми у любого сайта симбиоз.

А потому закрыл им доступ нафик через .htaccess

PS
Недавно еще заметил внезапно зашедшего FacebookExternalHit бота, по IP адресам и названию явно указывающего на Facebook (*запрещён на территории РФ). Сессий тоже много создает (больше Yandex и Google), но пока не отключаю, мало ли, вдруг польза какая с него будет. Удивительно, что поселившись, этот бот теперь уже не уходит, постоянно тусуется. Или он в самом деле совсем новый, или добрёл наконец-то и до моего сайтика.