1-freelance.ru

Журнал "Фрилансер"
2 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Защита сервер от ботов (фейков)

Защита сервер от ботов (фейков)

В связи с тем, что на данный момент выходят все новые и новыe софты, которые приносят вред игровому серверу Counter-Strike 1.6, администраторам все чаще приходится думать, как его защитить. Речь пойдет о защите от софта под названием «XFakePlayers», который сейчас активно используется., и находится в свободном доступе.

Что такое XFakePlayers- это многофункциональная программа для отправки фейков (ботов) на сервер.

XFakePlayers посылает на сервер фейковых игроков, они же боты. При посылке таких ботов повышается IP у игроков, которые присутствовали в данный момент на сервере, так же идет голосовой спам через voice, так же в новой доработке был добавлен Radio_flood. Каждый из ботов имеет cвой собственный SteamID, а так же AI. Данная программа имеет поддержу эмуляторов : SteamEmu, AVSMP, RevEmu, OldRevEmu.

Защититься от XFakePlayers можно пока несколькими способами, и мы сейчас вам расскажем, как это сделать максимально бережно и эффективно.

Первый способ — это установить metamodплагин под названием «Facedetector», плагин был написан исключительно для Counter-Strike 1.6.

Автор плагина: Asmodai

Версия плагина: 2.1.3

Плагин защитит вас от фейковых игроков до версии «XFakePlayers v1.12», так как автор плагина был в отъезде и не смог его доделать под новые версии «XFakePlayers». Плагин Facedetector защитит вас не только от «XFakePlayers», но и от всеми вами известного софта «BufferOverload v3» и «Buffer overload v3 patch» (он же v4). Суть данного софта заключается в том что, на сервер коннектится бот, после чего сервер зависает. Страдают даже «Only Steam» сервера. Так же в него был добавлен фикс от «NET_GetLong» — это маленький флуд от «Buffer overflow v2». Еще один не мало важный момент в плагине «facedetector», заключается в том, что был добавлен фикс висячих фейков, которые при заходе висели в наблюдениях и так же несли вред.

bantime = 0.0 // тип наказания. 0.0 означает кик, иначе время в минутах

banreason = Fake client // причина бана

onlylog = 0 // только логировать обнаружения, без наказания

fix_bo3_new = 1 // переключает фикс buffer overflow v4 (v3 patched) в более продвинутый режим

Второй способ это установить плагин «XClient Detector v4.2»

Данный плагин защитит вас только от «XFakePlayers», от всех версией плагина.Многое было проведено фиксом. Каждое обновление зачастую зависит от выхода новой версии «XFakePlayers». Автор плагина тщательно отслеживает обновления софта и выпускает свежую версию защиты. Данный плагин отлично блокирует ботов «XFakePlayers v1.13» и выше перечисленные версии. Настройка плагина производится в «конфигурации» «amxx.cfg», следует вписать следующие значения:

xvi_crash 1 // вкл/выкл блокировку ботов.

xvi_sens 2 // кол-во проверок (1-999) , чувствительность плагина, по стандарту стоит 2, и этого хватает.

Различие двух плагинов заключается в том, что у них одна цель, но разные принципы работы. Спеши попробовать эти два плагина. Скачав плагины, вы выберете для себя наилучший вариант.

ОБНОВЛЕНИЕ:
Как говорилось выше что XFakePlayers имеет такую функцию какradio_flood, и третьим способом защиты от «XFakePlayers» это установить «Voice Packet Limiter»данный способ ограничивает голосовые пакеты. Есть еще один способ, это отключить vtc.so модуль,который позволяет вести разговоры игрокам которые используют лицензионную игру, и не лицензионную то есть Steam/No_Steam.

Данный пагин использует okapi + orpheu, плагин предназначит для защиты сервера от radio_flood,который имеется в XFakePlayers. По настройкам все прописывается в загрузочный конфиг он же amxx.cfg:

amx_vpl_punish «wait;addip 300.0 %ip%»

Так же можно заменить за место стандартного addip, на kick %userid% reason. Стандартный квар amx_vpl_rate можно оставить с дефолтным значением, но если

будут ложны баны, то поднимите на пару тысяч! Советую поиграть с этим значением.

Блокировка ботов в нике игрока в виде IP адреса, новый Румынский софт:

И так пора бы обновить темку, так как вышел новый соф от Румынов, суть софта заключается в том что идёт спам по серверам , не важно каким с рекламой очередного их игрового сервера cs 1.6. Мы предлагаем вам защиту отданного вида софта плагин называется spam_block,который лежит в основном архиве с защитой от всякого вида флуда с пометкой.Плагин spam_block не даёт приконнектиться боту к серверу, и отлавливает его до стадии коннекта и кикает, но можно настроить, что бы банил, вся настройка происходит в исходнике плагина. Желаем удачи и процветанию вашему серверу.

Защита сервера от ботов

Собственно хотим как то обезопасить и защитить все машины от ботов.

По факту получается, что на сайтах есть куча ботов, которые парсят контент и прочее. В итоге получается колоссальная «пустая» нагрузка и порой бендвич стремится к своему лимиту.

Поделитесь опытом, кто как, и самое главное какие ставит защиты? Хотелось бы на уровне iptables решить этот вопрос.

На данный момент часть ip заблокирована, добавлена защита на проверку User-Agent. Нагрузка снизилась, но не очень намного.

p.s. все машины на CentOS (где-то 5, где-то 6).

Есть стандартный метод — засунуть на сайт жабоскрипт, который считает какое-то выражение и шлет ajax-запрос на сервер с результатом. Обычно боты тупые и не считают жабоскрипт, так что и запроса не будет, и так их можно отличать. Правда жабоскрипта нет и на части клитентов — тут уже что важнее.

А вообще — почему бы не воспользоваться тем же cloudflare ? У них реализована похожая проверка, только еще есть капча для браузеров без скриптов и куча других приблуд

Как только ты сможешь ответить на вопрос «как гарантированно отличить бота от человека?», у тебя тут же появится решение этой проблемы и, потенциально, куча денег. До тех пор это гадание на кофейной гуще. Можете попробовать забанить все IP, которые не из России или откуда ты там. Или вообще разрешить доступ только для IP из тех дапазонов, которые выдают конечным клиентам провайдеры. Или наделать ханипотов.

Читайте так же:
Материнка asrock n68 gs4 fx

Ну или перестать экономить на спичках и захостить всё не на «VDS за 1$ в месяц», а где-то поприличнее.

Лимитируй количесиво запросов с одного ip в nginx. Там же выстави ограничение скоростт для одного IP.

Присматриваюсь уже в сторону Fail2Ban. Насчет лимита понятно, но как бы не забанить скажем ботов гугла или яндекса? Ведь «полезных» роботов банить крайне запрещено!

Понимаю, что 100% защиты тут не существует, но хоть бы определенный % отсечь — было бы и то неплохо.

И причем здесь VDS за 1 бакс. Сервера мощные, но на каждом по 50-100 сайтов с нормальной посещалкой. Если б можно было сменить тупо сервер — вопрос был бы проще, но здесь задача немного сложнее.

Сервера мощные, но на каждом по 50-100 сайтов с нормальной посещалкой.

Хостинг или SEO?

У «полезных» ботов известны IP для исходящего трафика.

Ну так когда ты определишься какие боты полезные, а какие нет, сможешь написать нужную регулярку для fail2ban.

Ответ на вопрос — найдите хостинг, который выдержит вашу нагрузку. Уверен, что она совсем не большая. И причина того, что занят весь канал в том, что канал очень узкий (кстати, какова ширина вашего канала, в мегабитах).

У меня такое впечатление, что вы тратите свое время и ресурсы мозга на борьбу с третьестепенной проблемой. Займитесь более важными делами. Ну не может быть забит канал, если только вас не DDOS’ят целенаправленно. Уже много лет в каждый дом заведена оптика и получить канал 100М и IPv4 адрес может любой желающий. Поэтому вопрос хостинга упирается в 500$ единоразово на системник, 700р в месяц за канал 100М и IP (при том, что за интернет ты полюбому будешь платить, но на 100р меньше без IP), еще 50р в месяц за электричество, а также необходимую квалификацию, чтобы настроить и поддерживать веб-сервер.

Блин, когда на ресурсе, где 30% людей считают себя сисадминами возникает такая тема, я не могу понять, с какой планеты автор топика.

Ага, я понял. Юрлицо, куча серверов, нормального канала нет, к хостеру перенести сервера дорого, собственный датацентр с нормальным каналом еще дороже (да и не доросли еще до этого).

Все сложнее. Но борьба с ботами — бесперспективно. Усилий много, толку мало (они тоже эволюционируют) и есть шанс забанить кого-то полезного, про кого ты еще даже не знаешь (или в результате ложного срабатывания).

Присматриваюсь уже в сторону Fail2Ban. Насчет лимита понятно, но как бы не забанить скажем ботов гугла или яндекса? Ведь «полезных» роботов банить крайне запрещено!

Опытным путем. nginx логирует IP которые банит. Смотришь whois — если Google, то увеличиваем лимит. Где-то 30 запросов в секунду должно быть достаточно, чтобы не забанить «полезных» ботов.

Защита сервера от ботов


Плагин BotFilter — это защитный плагин против ботов для вашего сервера, он встроен в BungeeCord (плагин позволяющий соединять несколько серверов), плагин позволит достаточно эффективно проверять входящих игроков по нескольким параметрам, в том числе заставит их ввести капчу (код проверки с картинки).

На данный момент имеется 3 вида защиты, это проверка на падение, проверка при помощи капчи, а так же проверка при помощи капчи и падения одновременно.

Установка:
1) Устанавливается подобно обычному bungeecord
2) Необходимо настроить конфиг самого BotFilter
3) Желательно включить лимит игроков в bungeecord из расчета лимит= максимальное количество игроков умноженное на 2 плюс минус 200/
4) Можно поставить connection_throttle

Защита сервер от ботов (фейков)

В связи с тем, что на данный момент выходят все новые и новыe софты, которые приносят вред игровому серверу Counter-Strike 1.6, администраторам все чаще приходится думать, как его защитить. Речь пойдет о защите от софта под названием «XFakePlayers», который сейчас активно используется., и находится в свободном доступе.

Что такое XFakePlayers- это многофункциональная программа для отправки фейков (ботов) на сервер.

XFakePlayers посылает на сервер фейковых игроков, они же боты. При посылке таких ботов повышается IP у игроков, которые присутствовали в данный момент на сервере, так же идет голосовой спам через voice, так же в новой доработке был добавлен Radio_flood. Каждый из ботов имеет cвой собственный SteamID, а так же AI. Данная программа имеет поддержу эмуляторов : SteamEmu, AVSMP, RevEmu, OldRevEmu.

Защититься от XFakePlayers можно пока несколькими способами, и мы сейчас вам расскажем, как это сделать максимально бережно и эффективно.

Первый способ — это установить metamodплагин под названием «Facedetector», плагин был написан исключительно для Counter-Strike 1.6.

Автор плагина: Asmodai

Версия плагина: 2.1.3

Плагин защитит вас от фейковых игроков до версии «XFakePlayers v1.12», так как автор плагина был в отъезде и не смог его доделать под новые версии «XFakePlayers». Плагин Facedetector защитит вас не только от «XFakePlayers», но и от всеми вами известного софта «BufferOverload v3» и «Buffer overload v3 patch» (он же v4). Суть данного софта заключается в том что, на сервер коннектится бот, после чего сервер зависает. Страдают даже «Only Steam» сервера. Так же в него был добавлен фикс от «NET_GetLong» — это маленький флуд от «Buffer overflow v2». Еще один не мало важный момент в плагине «facedetector», заключается в том, что был добавлен фикс висячих фейков, которые при заходе висели в наблюдениях и так же несли вред.

Читайте так же:
Мощный ноутбук для дизайнера

bantime = 0.0 // тип наказания. 0.0 означает кик, иначе время в минутах

banreason = Fake client // причина бана

onlylog = 0 // только логировать обнаружения, без наказания

fix_bo3_new = 1 // переключает фикс buffer overflow v4 (v3 patched) в более продвинутый режим

Второй способ это установить плагин «XClient Detector v4.2»

Данный плагин защитит вас только от «XFakePlayers», от всех версией плагина.Многое было проведено фиксом. Каждое обновление зачастую зависит от выхода новой версии «XFakePlayers». Автор плагина тщательно отслеживает обновления софта и выпускает свежую версию защиты. Данный плагин отлично блокирует ботов «XFakePlayers v1.13» и выше перечисленные версии. Настройка плагина производится в «конфигурации» «amxx.cfg», следует вписать следующие значения:

xvi_crash 1 // вкл/выкл блокировку ботов.

xvi_sens 2 // кол-во проверок (1−999) , чувствительность плагина, по стандарту стоит 2, и этого хватает.

Различие двух плагинов заключается в том, что у них одна цель, но разные принципы работы. Спеши попробовать эти два плагина. Скачав плагины, вы выберете для себя наилучший вариант.

ОБНОВЛЕНИЕ:
Как говорилось выше что XFakePlayers имеет такую функцию какradio_flood, и третьим способом защиты от «XFakePlayers» это установить «Voice Packet Limiter»данный способ ограничивает голосовые пакеты. Есть еще один способ, это отключить vtc.so модуль,который позволяет вести разговоры игрокам которые используют лицензионную игру, и не лицензионную то есть Steam/No_Steam.

Данный пагин использует okapi + orpheu, плагин предназначит для защиты сервера от radio_flood,который имеется в XFakePlayers. По настройкам все прописывается в загрузочный конфиг он же amxx.cfg:

amx_vpl_punish «wait;addip 300.0 %ip%»

Так же можно заменить за место стандартного addip, на kick %userid% reason. Стандартный квар amx_vpl_rate можно оставить с дефолтным значением, но если

будут ложны баны, то поднимите на пару тысяч! Советую поиграть с этим значением.

Блокировка ботов в нике игрока в виде IP адреса, новый Румынский софт:

И так пора бы обновить темку, так как вышел новый соф от Румынов, суть софта заключается в том что идёт спам по серверам , не важно каким с рекламой очередного их игрового сервера cs 1.6. Мы предлагаем вам защиту отданного вида софта плагин называется spam_block,который лежит в основном архиве с защитой от всякого вида флуда с пометкой.Плагин spam_block не даёт приконнектиться боту к серверу, и отлавливает его до стадии коннекта и кикает, но можно настроить, что бы банил, вся настройка происходит в исходнике плагина. Желаем удачи и процветанию вашему серверу.

| Как защитить сервер майнкрафт от ддос атак?

В данной обучающей статье, мы расскажем как можно защитить свой сервер от DDoS атаки ботами с помощью плагина AntiBot. Сперва необходимо скачать данный плагин, после чего загрузить на сервер в папку plugins. Следующим шагом будет перезагрузка сервера (нажмите выключить и включить, дожидаясь полной загрузки)

Теперь посмотрим в папку plugins, в ней автоматически создается папка AntiBot, имеющая 3 файла:

1) config.yml — конфигурационный файл плагина.
2) GeoIP.dat — база данных, содержащая информацию об IP и странах.
3) language.yml — файл локализации.

Открываем файл config.yml (рекомендуется через Notepad++) и видим следующее:
AntiBot:
Main:
Prefix: '§f[§bAntiBot§f] '
Notifications: true
EnableByDefault: true
AntiSpam:
StringDiffMin: 3
Amount: 4
Enabled: false
Time: 1500
Bot:
Seconds: 5000
Enabled: true
ConnectionTime: 10000
Accounts: 4
CountryBans:
Countries: []
Enabled: true
WhitelistMode: false
Captcha:
IdleKicks: false
Triggers:
ChatOverflow: false
ChatSpam: true
BotSpam: true
Enabled: false
MaxAttempts: 3
TouchTheseAnd:
AWildTnTWillAppearInYourCode:
AndItWillSuck:
InstallDate: 1377492029667
DebugMode: false
CheckUpdates: true
DelayedStart:
Time: 60
Enabled: false
ChatFlow:
Enabled: false
Kicking: false
Time: 5000
Amount: 5
LoginDelay:
HoldTime: 5000
Delay: 5000
Enabled: true

Это стандартный конфиг плагина.

Теперь обратите внимание на следующее:

CountryBans:
Countries: []
Enabled: true
WhitelistMode: false

Данная секция отвечает за список запрещенных стран.
Countries — страны, вход из которых блокируется на сервере.
Enabled — включен ли фильтр стран, true — да, false — нет.
WhitelistMode — если эта функция включена, то выше перечисляется список ДОПУСТИМЫХ стран, а не запрещенных, true — да, false — нет.

Рассмотрим на примере, как должен выглядеть параметр Countries:
CountryBans:
Countries:
— RU
— UA
— US
— KZ
Enabled: true
WhitelistMode: true

Мы разрешили вход из 4-х стран — это Россия, Украина, США и Казахстан.
Если параметр WhitelistMode будет иметь значение true, то доступ к серверу будет возможен только из этих стран.

После изменения параметров не забывайте перезапускать (выключать и включать) игровой сервер!

Хотите открыть свой сервер майнкрафт? — нажмите на ссылку — КАК ЗАКАЗАТЬ СЕРВЕР МАЙНКРАФТ

Закажите сервер майнкрафт со скидкой — DHGY-NN7V-UCV7-BVEB
Видео урок по активации промо-кода — ЗДЕСЬ

Рекомендуемые статьи этой категории:

Приват в майнкрафте

Хотите узнать как сделать приват в майнкрафте и изучить основные команды? Мы подготовили подробный видео урок и простую инструкцию. Научитесь правильно защищать свой сервер майнкрафт от атак гриферов.

Что делать, если перестал работать сервер

Не работает сервер майнкрафт и не знаете как его запустить? Не переживайте, после прочтения данного материала, Вы с легкостью активируете его снова. Приятного прочтения, дорогие друзья.

Установка BungeeCord на хостинге

В этой статье мы расскажем как правильно производить настройку BungeeCord серверов! Внимательно изучите материал и у Вас не возникнет абсолютно никаких трудностей. Мы старались максимально подробно всё описать.

Куда устанавливать ресурс паки в майнкрафт

Хотите научиться устанавливать ресурс паки для сервера майнкрафт? Наша база знаний продолжает активное обучение игроков, поэтому не переживайте, у Вас с легкостью всё получится.

Читайте так же:
Блютуз адаптер для авто диагностика

Как установить своё ядро на сервер

Хотите узнать как запустить ядро сервера майнкрафт? Наши специалисты подготовили для Вас обучающий материал на данную тему. Переходите по ссылке и начинайте изучение. Если будут вопросы — обращайтесь и мы поможем.

Minecraft server properties настройки

Профессиональная настройка майнкрафт server properties, мы расскажем обо всех подводных камнях, которые могут возникнуть, расскажем каких ошибок стоит избегать и как правильно поддерживать хостинг майнкрафт.

Как установить плагин на сервер майнкрафт

Не получается установить плагины на свой сервер майнкрафт? Ответ Вы найдете в данной статье. Как всегда, мы подготовили видео урок от технической поддержки сайта и объяснили всё очень доступно.

Как получить админа в майнкрафт

Не знаете как выдать себе права администратора на сервере майнкрафт? Это не проблема, мы Вас научим! Посмотрите подробные видео уроки записанные нашими специалистами с многолетним опытом работы в сфере майнкрафт.

Как поставить карту на сервер майнкрафт

Откройте статью и узнайте как установить карту в майнкрафт — ведь это очень просто. Всегда интересно поиграть на увлекательной карте со своими друзьями и наш хостинг предоставляет такую возможность.

ХОЧЕШЬ ОТКРЫТЬ СВОЙ СЕРВЕР MINECRAFT ИЛИ HYTALE?

Дарим 500 рублей в подарок!

Низкий пинг — Удобная панель управления — Защита от DDoS. База данных MySQL — Полный FTP доступ. Присоединяйтесь и получите тестовый период на 1 день. Низкий пинг — Удобная панель управления — Защита от DDoS.

База данных MySQL — Полный FTP доступ. Присоединяйтесь и получите тестовый период на 1 день

Защита вашего веб сайта

Не все посетители вашего сайта являются людьми. Программные боты, в том числе вредоносные, занимали 40% долю от общего трафика в прошлом году. BotGuard предоставляет сервис для защиты вашего веб сайта от вредоносных ботов, «пауков», граберов контента и хакерских атак. Используя обнаружение ботов в режиме реального времени, мы селективно блокируем паразитный трафик, оставляя возможность свободного посещения вашего сайта легитимными посетителями, поисковыми системами и «хорошими» ботами.

Для того, чтобы помочь вам защитить свой бизнес от хакеров, спамеров, воров контента и ваших конкурентов, мы предоставляем 3 уровня защиты:

Межсетевой экран

Межсетевой экран веб приложений (WAF) — это ваша главная линия обороны от хакерских атак на веб приложения, включая все угрозы из OWASP Top 10, такие как межсайтовый скриптинг (XSS), SQL инъекции (SQLI), межсайтовая подделка запроса (CSRF) и удаленное включение файла (RFI).

Блокировка вредоносных ботов

Совершенные техники идентификации и прозрачные для посетителя сайта проверки блокируют вредоносных ботов, пропуская к вашему веб сайту только легитимный трафик. Вы будете защищены от всех типов автоматизированных угроз по классификации OAT.

Предотвращение копирования контента

Интегрируя сервис BotGuard в своё веб приложение, вы получаете защиту от копирования контента сайта, даже если оно ведется продвинутыми «профессиональными» инструментами или человеком вручную.

Что вы получаете

  • Снижение нагрузки на сервер
    В результате блокирования ботов снижается нагрузка на сервер, снижается объем трафика, что позволяет обслужить большее число клиентов, затрачивая меньше средств на инфраструктуру.
  • Улучшение SEO
    Займите достойные позиции в органической поисковой выдаче, застраховав себя от негативного влияния «плохих» ботов.
  • Точную веб аналитику
    Блокировка ботов, влияющих на счетчики аналитики, позволяет отсечь недостоверные данные.
  • Защиту от взлома и спама
    Благодаря WAF ваш сайт будет защищен от известных и новых уязвимостей «нулевого дня».
  • Защиту от кражи контента и влияния конкурентов
    Ваши конкуренты не смогут манипулировать ценами, использовать ваш контент и получать неконкурентное преимущество на ваших акциях и распродажах.

Что лучше подходит для вас?

Владелец сайта

Проверьте, насколько хорошо вы защищены от ботов

До 20% вашего общего трафика на сайте может генерироваться вредоносными ботами. Хотите проверить, могут ли они навредить вашему сайту?

Введите адрес вашего сайта, чтобы проверить, насколько хорошо он защищён от ботов. Эта простая проверка не займёт больше минуты.

Ваш сайт недостаточно хорошо защищён? Вам стоит воспользоваться хорошим сервисом защиты от ботов. Воспользуйтесь нашей защитой бесплатно в течение месяца.

Хостинг-компания

Начните продажи услуги защиты сайтов

Знаете ли вы, что низкая производительность системы, вызванная трафиком ботов, часто воспринимается клиентами как проблема хостинга в целом?

Станьте партнером BotGuard и предложите своим клиентам защиту веб-сайта одним щелчком мыши и улучшенный хостинг. Свяжитесь с нами, чтобы начать сегодня!

  • Защитите своих клиентов
  • Уменьшите отток клиентов
  • Увеличьте свой доход на 15%
  • Без затрат и предварительных обязательств

Как работает защита BotGuard

Каждый запрос к вашему веб сайту направляется на анализ в облако BotGuard. Высокопроизводительная система BotGuard в реальном времени определяет, является ли посетитель сайта человеком или маскирующимся под него вредоносным ботом и решает, разрешить ли этот запрос, запретить его, или провести прозрачную проверку пользователя. Результат передается обратно на ваш веб сервер, после чего человек или легитимный бот поисковой системы получает страницу вашего сайта, а вредоносный бот или хакер — сообщение об ошибке.

Движок BotGuard выполняет анализ поведения посетителя сайта, формирует его «цифровой отпечаток» и сохраняет результаты проверки в базе данных. Наша база данных содержит миллионы цифровых отпечатков браузеров, что позволяет нам быстро и с большой точностью идентифицировать большинство ботов и хакерских атак. База данных формируется динамически, а также постоянно расширяется исследовательской командой и специалистами по безопасности.

Для большинства посетителей вашего сайта ничего не изменится, они будут посещать ваш сайт как обычно. В случае наличия обоснованных сомнений, проверка посетителя сайта выполняется прозрачно, без использования капчи и задержки. Движок BotGuard поддерживает множество способов проверки посетителей сайта и способен противостоять эмуляции реального посетителя.

Читайте так же:
Можно ли тв тюнер подключить к ноутбуку

Возможности

Наш облачный сервис обладает значительными преимуществами перед самодельными и коробочными решениями:

Эффективные способы защиты от парсинга сайта

При помощи парсеров конкуренты могут копировать контент с продвигаемого сайта, и далее выдавать поисковым системам копию за первоисточник.

Системы парсинга работают автоматически. В результате позиции продвигаемого сайта могут снижаться.

Как защититься от парсинга сайта?

Какие методы по защите наиболее эффективны? Разберемся с вопросами далее.

Новый эффективный способ защиты от парсинга сайта

С целью ограничения доступа к сайту можно использовать капчи. Главным недостатком данного способа считались неудобства, которые создавалиcь для реальных пользователей. Например, была необходимость ввода текста с картинки или разгадывание графики.

Google Captcha разгадывание изображений

Google придумал как решить проблему с такими неудобствами. Решение заключается в анализе данных об активности пользователей.

Если обладать данными о трафике, то проверку можно проводить в фоновом режиме, без участия пользователя.

Google Captcha проверка трафика

Итак, сейчас в сервисах Google используется новое решение по защите от ботов. Подобное решение доступно для всех пользователей.

reCAPTCHA является бесплатным сервисом, который позволяет защитить сайт от парсинга и спама.

Ссылка на сервис — reCAPTCHA.

На практике через Google reCAPTCHA API можно получить данные о том, является клиент роботом или нет.

По каждому из клиентов Google передает числовое значение по шкале от 0.1 до 0.9.

Защита от парсинга

  • 0.9. Означает, что клиент с высокой вероятностью является пользователем. При таких значениях никаких дополнительных проверок и ограничений на использование сайта создавать не следует;
  • 0.3. Означает, что клиент скорее пользователь, нежели робот. Для клиентов с такими значениями имеет смысл иногда проводить дополнительную проверку. Например, проверку можно проводить во время подозрительной активности или при пиковой нагрузке на сервер сайта;
  • 0.1. Означает, что клиент скорее робот, нежели пользователь.

При значении 0.3 имеет смысл не выводить рекламные блоки, чтобы не занижать значение параметра кликабельности.

Значение 0.1 является лишь поводом для того, чтобы присмотреться к клиенту. Нет смысла блокировать клиентов с таким значением. Такие значения могут получать реальные пользователи. Например, из практики было замечено что значение 0.1 получают клиенты Мегафона, оператора мобильной связи.

В идеале правильным решением будет создание процесса с дополнительной проверкой. Как лучше организовать процесс проверки? Например так:

  • При 0.9 никаких дополнительных проверок проводить не следует;
  • При 0.3 проводить проверки иногда;
  • При 0.1 проводить проверки, например с использованием текстовой капчи.

Итак, на практике использование сервиса reCAPTCHA помогает убедиться в том, что посетитель сайта является реальным человеком.

Но при использовании мотивированного трафика проверку капчами можно обходить в реальном времени.

Например, такие сервисы как 2Captcha и ruCAPTCHA помогает обходить любые типы капч.

Для графической капчи стоимость составляет не более 44 рублей за 1000 решений.

В случае с reCAPTCHA стоимость составляет от 160 рублей за 1000 решений.

Ссылка на сервис ruCAPTCHA — ruCAPTCHA.

Ссылка на сервис 2captcha — 2captcha.

Еще один способ по защите от парсинга сайта — Ловушка для ботов

В качестве превентивной меры по защите от парсинга сайта следует использовать ловушки для ботов, так называемые honeypot.

Суть данного метода заключается в создании приманки для ботов, что впоследствии позволяет собрать список роботов, изучить стратегию злоумышленников и определить перечень средств, с помощью которых могут быть нанесены удары по серверам сайта. Далее специалисты в области безопасности разрабатывают стратегии снижению рисков при парсинге сайта или DDoS атаках.

На практике способ заключается в том, что на сайте размещается ссылка, по которой не будут переходить пользователи, но будут переходить боты.

Защиты от парсинга сайта и DDoS - без ловушки

К примеру, в качестве такой ссылки может быть прозрачная картинка размером 1 на 1 пиксель.

Защиты от парсинга сайта и DDoS - Ловушка для ботов

Анализ свойств IP-адреса

Еще для сегментации запросов на пользовательский трафик и обращения роботов можно использовать анализ свойств IP-адреса клиента.

Зачастую у роботов в свойстве type прописано значение hosting или business.

Запись hosting как инструмент для обнаружения ботов

В случае с пользовательским трафиком, в свойствах IP в type обычно задано значение isp. Исключением являются случаи с использованием прокси.

Запись isp как инструмент для обнаружения ботов

Как результат можно собрать список роботов, чтобы в дальнейшем по требованию перекрывать доступ к сайту, например в таких случаях:

  • Парсинг сайта;
  • Увеличение нагрузки на сайт, которое превышает пропускную способность канала, что приводит к проблемам с загрузкой сайта;
  • DDoS атака на сайт.

Как выстроить систему так, чтобы были минимальные потери? Требуется найти решение для следующей задачи:

  • Закрыть доступ к сайту для черных роботов;
  • И оставить открытым доступ к сайту для белых роботов. К белым роботам могут относиться краулеры разных поисковых систем и социальных сетей.

Для решения задачи требуется провести анализ IP адресов, которые используют роботы. В результате весь список должен быть поделен на 2 списка:

  • Белые роботы. В список должны попасть действительно белые роботы и роботы, которые с высокой вероятностью являются такими;
  • Черные роботы.

Менеджеры проектов регулярно решают подобные задачи. Если вдаваться в технические детали работы систем парсинга, то можно сделать выводы о характерных признаках белых роботов.

Признак следующий — у белых роботов есть PTR запись. У черных роботов значение в PTR записи встречаются реже.

PTR записи используются как инструмент для получения имени хоста (hostname) по IP-адресу.

Распознавание бота по PTR записи

Применять анализ следует только к трафику роботов, так как в случае с пользовательским трафиком PTR не используется в принципе.

Распознавание ботов по Hostname

Сервисы для защиты от парсинга сайтов

Одними из наиболее популярных сервисов по защите от парсинга являются CloudFlare и Distil Networks.

Читайте так же:
Материнка asus p5q se

CloudFlare предоставляет возможности по защите сайтов на бесплатной основе, но есть и платные тарифы.

На бесплатном тарифе используется примитивный способ защиты.

При возрастании нагрузки на сайт сервис начинает выдавать посетителям страницу с капчей для прохождения проверки.

Сервис для защиты от парсинга сайтов

Подобное решение не является эффективным, так как создает неудобства для значимой части аудитории сайта.

Сервис представляет интерес в редких случаях. Например, если речь идет про такие сервисы как конструкторы сайтов или про создание сети PBN сайтов, то CloudFlare может быть эффективным решением.

В большинстве случаев все PBN сайты находятся на одном кластере или даже одном сервере. Доменные имена у всех сайтов разные. IP адреса разные за счет проксирования. В таком случае при использовании CloudFlare, если на любой из сайтов происходит DDoS атака, то перестает работать только один сайт, а не вся сеть.

Рекомендованные материалы в блоге MegaIndex по теме private blog networks по ссылкам далее:

Крупные западные коммерческие сайты используют решение Distil Networks. Сервис Distil Networks является платным решением, но и платные решения не способны защитить сайт наверняка. В принципе такие сервисы лишь помогают увеличить затраты на парсинг или DDoS атаку. Навредить сайту остается возможным, но затраты на такое мероприятие для атакующей стороны возрастают.

Вопросы и ответы

Что такое парсинг сайта?

Парсингом сайта называется комплекс мер по извлечению данных с сайта. Впоследствии скопированный контент может использоваться для разных целей, например для продвижения иных сайтов или аналитики.

Как закрыть сайт от парсинга сервисами

Закрыть сайт от конкурентной разведки можно используй скрипт с сайта indexoid.

Пример директив сервера для файла htaccess на запрет:

Для каких целей применяется парсинг сайтов?

Парсинг сайтов применяется для целей разного характера. Например:

  • Копирование статей для размещения на конкурентных сайтах;
  • Копирование отзывов;
  • Анализ данных;
  • Мониторинг цен;
  • Сравнение цен;
  • Агрегация данных для создания каталогов;
  • Анализ изменений на сайте;
  • Управление онлайн-репутацией в интернете;
  • Копирование части содержания, например титров;
  • Мониторинг новостных потоков;
  • Копирование данных о прогнозе погоды;
  • Прочее.

Законно ли использовать парсинг сайтов?

В большинстве стран никаких законов в отношении парсинга нет.

Но на разных территориях встречаются разные законы в отношении копирования контента. Например, если сайт принадлежит компании, которая зарегистрирована как юридическое лицо в штатах, то есть ряд законов, используя которые можно защититься от парсинга контента.

  • Закон об авторском праве (Copyright infringement);
  • Закон о компьютерном мошенничестве и злоупотреблениях (CFAA);
  • Использования защиты на движимое имущество, так называемый Trespass to chattels.

Какие еще есть способы защиты от парсинга?

На большинстве сайтов размещается страница с Правилами использования сайта/Terms of use. В данном документе можно написать о запрете на копирование данных с сайта. Но правовой статус такого заявления не ясен.

Дополнительные способы защиты:

  • Блокировка IP-адреса по списку или на основе таких критериев, как геолокация и/или черного списка DNS. Это также заблокирует весь просмотр с этого адреса;
  • Блокировка по значению, указанному в строке user agent;
  • Блокировка по значению, указанному в PTR записи;
  • Парсеры могут быть заблокированы путем анализа клиента на получение избыточного трафика;
  • Использование файла robots;
  • Система анализа поведения пользователя для вычисления роботов с использованием таких данных: движение курсора, координаты нажатия на кнопки и прочее;
  • Обфусцирование стилей;
  • Динамическое изменение имен классов и кода сайта, без изменения результата для пользователя. Например, изменение стилей и верстки страницы.

При использовании DNS black list происходит следующее:

  • Сервер сайта устанавливает соединение с DNSBL;
  • Система проверяет наличие в базе IP-адреса клиента, от которого пришел запрос на сайт;
  • При положительном ответе считается, что происходит попытка парсинга или DDoS;
  • Сервер отправителя получает ошибку 500, то есть отказ на запрашиваемые данные.

Выводы

Итак, конкуренты могут копировать контент с продвигаемого сайта. Для автоматического копирования контента достаточно настроить процесс сканирования, извлечения и публикации данных.

От парсеров следует защищаться по ряду причин. Например:

  • Если речь про сервисы и облачные решения, то парсеры могут копировать данные с сайта и предоставлять их пользователям от имени иного бренда;
  • Если речь про сайт информационного плана, то весь скопированный и размещенный в сети контент может быть проиндексирован поисковыми системами. В результате оригинальный источник будет терять трафик.
  • Идентифицируйте роботов на основе данных о трафике, к примеру используя Google reCAPTCHA;
  • Создайте белый и черный списки роботов;
  • Настройте систему анализа и блокировки роботов.

Итак, парсеры можно заблокировать с помощью проверок на основе капч и аналитике трафика.

  • Защита от парсинга сайта;
  • Снижение нагрузки на сервер сайта. Увеличение скорости загрузки страниц;
  • Защита от спама, который роботы создают для усложнения выполнения работ по аналитике;
  • Блокировка спама в комментариях;
  • Защита от анализа сайта злоумышленниками с использованием роботов;
  • Защита от подбора паролей;
  • Защита от сервисов конкурентной разведки;
  • Защита от анализа сайта роботами на предмет возможности XSS и SQL инъекций.

Что сделать, если контент уже скопирован? Если контент уже скопирован, то есть варианты удалить контент или извлечь пользу из копии. Рекомендуемые материалы в блоге MegaIndex по ссылкам далее:

Цена таких мероприятий как парсинг и DDoS атаки будет значимо увеличена.

При этом использование сервиса Google reCAPTCHA является бесплатным.

Защититься полностью от парсинга сайтов или DDoS невозможно, но можно снизить нагрузку на сайт и отбить большинство атак.

Остались ли у вас вопросы, замечания или комментарии по теме защиты сайтов от парсинга?

голоса
Рейтинг статьи
Ссылка на основную публикацию
Adblock
detector