Представьте ситуацию: вы открываете отчеты Google Analytics и видите рост реферального трафика. Отлично, думаете вы, появились какие-то жирные внешние ссылки, по которым народ приходит на сайт табунами. Однако анализ показывает, что 90 % реферального трафика идет с какого-то сомнительного ресурса. Более того, под вашими публикациями ежедневно появляются невнятные комментарии в стиле «классная тема, а я вот тут недавно скачал что-то классное и бесплатное». Естественно, комментаторы ссылаются на это самое классное и бесплатное. Похоже, на ваш сайт приходят спам-боты. Как от них защититься и зачем это делать?

Зачем блокировать и фильтровать спамеров

Во-вторых, массовые нашествия ботов создают лишнюю нагрузку на сервер. Если речь идет об одном-двух визитах в сутки, скорее всего, вы не заметите проблем. А если визиты исчисляются десятками в день, ваши реальные посетители могут заметить падение скорости загрузки страниц. Как вы знаете, это большая проблема . Наконец, боты могут не просто оставлять комментарии. Некоторые программы ищут уязвимости в вашем движке или пытаются получить доступ к серверу.

Как защититься от спам-ботов

Вы можете воспользоваться тремя способами защиты от спамеров. Первый можно считать самым радикальным и опасным. Второй и третий - это мягкие способы защиты. Для повышения эффективности их можно использовать одновременно.

1. Заблокируйте спам-ботов с помощью файла.htaccess

Как отмечалось выше, это самый радикальный способ борьбы со спамерами и любыми другими нежелательными посетителями. Настроив файл.htaccess, вы запрещаете вход на сайт пользователям, приходящим с указанных вами IP-адресов. Главное достоинство этого метода - вы защищаете сайт от попыток взлома, сервер от ненужной нагрузки, пользователей от спама, а статистические данные от искажения.

Однако блокировка с помощью файла.htaccess имеет и недостатки. Во-первых, спамеры могут легко менять IP-адреса. Во-вторых, вы можете закрыть сайт для нормальных посетителей, которые имеют одинаковый со спамерами «айпишник». Если это вас не пугает, тогда приступайте:

• Найдите в корневой директории сайта файл.htaccess. Доступ к корневому каталогу обычно осуществляется через FTP в кабинете настроек хостинга.
• Если соответствующий файл отсутствует, создайте его самостоятельно. Для этого откройте блокнот, создайте файл htaccess.txt, загрузите его в корневую директорию и переименуйте в.htaccess.
• Чтобы заблокировать спамеров, сделайте в файле следующую запись:

Order Allow,Deny

Deny from **.***.***.**

Deny from **.***.***.**

Вместо звездочек поставьте IP-адреса, которые вы хотите заблокировать. Скорее всего вам придется постоянно добавлять в список запрещенных новые «айпишники».

2. Настройте фильтры Google Analytics

Этот способ решает единственную задачу: защищает статистические данные от искажения. При этом спам-боты продолжают ходить на ваш сайт, оставляют комментарии, создают нагрузку на сервер и, возможно, пытаются получить доступ к управлению ресурсом.

Чтобы исключить данные о действиях ботов на сайте, вам необходимо создать новый фильтр. Придерживайтесь следующего алгоритма действий:

• Выберите опцию «Администратор» в горизонтальном меню.

• В правой колонке выберите меню «Фильтры» и нажмите кнопку «Новый фильтр».

• Воспользуйтесь встроенным фильтром, чтобы заблокировать нежелательные IP-адреса. Для этого в меню «Выберите тип фильтра» укажите «Исключить», в меню «Выберите источник или цель» укажите опцию «Трафик с IP-адресов», в меню «Выберите выражения» укажите опцию «Идентичные». В поле «IP-адрес» укажите адреса, которые необходимо заблокировать. Сохраните настройки.

Также вы можете исключить данные о посещениях из определенных стран, регионов и городов. Для этого выберите соответствующую опцию с помощью выпадающего меню «Поле фильтра».

Также в меню «Настройки представления» подтвердите опцию «Фильтрация роботов». Дефолтный фильтр Google Analytics может исключить посещения некоторых роботов из отчетов.

3. Используйте возможности CMS и дополнительные плагины

Этот метод защищает пользователей от спам-комментариев, а ваш сайт от попыток взлома. Выбирайте конкретные инструменты в зависимости от движка, на котором работает ваш ресурс. В число универсальных инструментов входят следующие:

• Ручная премодерация комментариев.
• Капча.
• Защита админпанели сайта от брутфорсинга. Если ваш сайт работает на Wordpress, эта задача решается с помощью плагина Limit Login Attempts .
• Блокировка спам-комментаторов по IP, использованию спам-слов, электронным адресам. Рекомендации для ресурса на WordPress: в админпанели выберите меню «Настройки - обсуждения». В поле «Черный список» внесите нежелательные «айпишники», электронные адреса, спам-слова. Эту задачу также можно решить с помощью плагина WP-Ban .

• Антиспам-плагины. Эти программы определяют спамеров алгоритмически. В число наиболее популярных плагинов для WordPress входят Akismet, Anti-Spam, Invisible Captcha, Antispam Bee.

Обратите внимание, антиспам-плагины и премодерация комментариев ухудшают пользовательский опыт. Поэтому используйте их, если спамеры действительно оставляют много комментариев на вашем сайте.

Какую тактику защиты от спам-ботов выбрать

Если спамеры досаждают вам дурацкой рекламой волшебных пилюль или файлообменников, боритесь с ними с помощью плагинов и программ. Так вы заблокируете большинство автоматических сообщений. Для борьбы с ручным спам-комментированием придется использовать премодерацию. Чтобы очистить статистические данные, настройте фильтры в Google Analytics. А если вы подозреваете, что к вашему сайту целенаправленно пытаются получить доступ злоумышленники, блокируйте подозрительные IP с помощью файла.htaccess. Также вы можете использовать программные средства защиты от взлома. Не забудьте сообщить о попытках несанкционированного доступа к сайту хостинг-провайдеру.

Адаптация материала How to Stop Spam Bots from Ruining Your Analytics Referral Data by Jared Gardner.

Оптимизаторы сайтов и их владельцы в своем большинстве уже поняли ценность уникального качественного контента, дополнительной ценности имеющейся на ресурсе информации. Использование "белых" методов продвижения верно ведет к увеличению трафика. Вчерашние "новые" пользователи "сегодня" приводят на сайт еще больше посетителей, рассказывая об уровне информационного содержимого сайта.

Месяцы усилий по продвижению в таком ключе могут враз перечеркнуть спам-боты, "пришедшие" на сайт.

Что такое спам-боты

Спам-боты являются компьютерными программами , имеющими своей целью рассылку сообщений спамового характера либо рекламных сообщений, не согласованных с руководством сайта и/или по чужеродной сайту тематике.

Эти сообщения мешают воспринимать оригинальную информацию сайта, снижают удовлетворенность пользователей сайтом и, в конечном итоге, приводят к понижению количества посетителей сайта.

Спам-боты "работают" не только с сайтами, но и с соц.группами, адресами электронной почты, ресурсами быстрого обмена сообщениями. Адреса для рассылок спам-боты находят на форумах, бесплатных сайтах объявлений, чатах. Также боты используют автоматический подбор адресов.

Зачем блокировать и фильтровать ботов

Премодерация комментариев после "посещения" ресурса спам-ботами, используемая многими вебмастерами, не является высокоэффективным способом по 2 причинам:

• боты создают нагрузку на сервер, что вызывает снижение скорости загрузки страниц. Некоторые боты ищут доступ непосредственно к серверу, а этого допускать нельзя;
• искажение аналитики после спам-ботов сводит к минимуму возможность правильного анализа поведенческих метрик.

Методы защиты от спам ботов

В зависимости от желаемой "жесткости" уровня защиты, различают 3 способа противодействия спам-ботам, среди которых первый является самым радикальным, второй и третий —помягче:

1. Использование файла.htaccess

Это самый серьезный способ борьбы с ненужными посетителями сайта. Вход на сайт запрещается пользователям, пришедшим с указанных вебмастером адресов.

Недостатками этого метода являются:

• возможность блокирования IP-адресов посетителей, схожие с адресами спам-ботов;
• частая смена адресов спам-ботами, что сложно контролировать.

Метод использования файла.htaccess заключается в следующем:

1. Данный файл находится в основной директории сайта. Доступ к каталогу осуществляется через настройки хостинга.
2. При отсутствии файла в системе нужно создать его самостоятельно. В блокноте с этой целью создается файл htaccess.txt, который переименовывается в.htaccess в корневой директории.

Для блокировки используется следующий код:

Deny from **.***.***.**

Deny from **.***.***.**,

где вместо звездочек указываются те адреса, которые необходимо заблокировать. Этот список время от времени необходимо будет пополнять.

2. Настройка фильтра Google Analytics

Этот способ создает защиту статистическим данным, они не искажаются вследствие воздействия спам-ботов. При этом ничего более не меняется, спам-боты посещают сайт, нагрузка на сервер повышается, повышен риск получения доступа к управлению ресурсом.

Создание фильтра происходит по следующему алгоритму:

• в меню выбирается опция "Администратор";
• справа выбирается меню "Фильтр"-"Новый фильтр";
• встроенный фильтр поможет заблокировать адреса, которые не являются желаемыми. Для этого необходимо нажать "Исключить" в меню "Выберите тип фильтра", в меню "Выберите источник или цель" выбрать "Трафик с IP-адресов", в меню "Выберите выражения" указать Идентичные". В IP-адресе указываются адреса для блокировки.

Необходимо также включить функцию "Фильтрации роботов" в "Настройках", включить штатный бот-фильтр.

3. Использование возможностей CMS и дополнительных плагинов.

Метод позволяет защитить сайт от взлома , а тексты — от комментариев спамного характера. Инструменты подбираются в соответствии с операционной системой, на которой работает ресурс.

К основным используемым инструментам относятся:

1. Защита административной панели от брутфорсинга посредством установки соответствующего системе плагина.
2. Ручная премодерация комментариев.
3. Капча.
4. Антиспам-плагины — определение спамеров с помощью алгоритма. Здесь необходимо отметить, что плагины и премодерация существенно снижают поведенческий фактор, поэтому злоупотреблять ими не стоит.

Выбор тактики защиты от спам-ботов

Первым делом при обнаружении «атаки» спам-ботов необходимо сообщить хостинг-провайдеру о попытках несанкционированного доступа к ресурсу.

Последующие меры будут зависеть от способа воздействия ботов на сайт:

1. Ручное комментирование-спам ликвидируется посредством премодерации.
2. Для очистки статистических данных настраиваются фильтры Google Analytics.
3. Файл.htaccess поможет блокировать подозрительные IP-адреса, тем самым не позволяя получить доступ к сайту злоумышленникам.

Работа по выявлению и ликвидации последствий деятельности спам-ботов позволит поддерживать статус качественного ресурса, что очень важно для его дальнейшего продвижения.

Темерь вы знаете, как победить спам-ботов!