Защита от парсинга, защита ботов - TALOS PRO

Добавить отзыв Сейчас в заказе (11)
4000р. 5000р. -20%
Производитель: EXTECOM, Alexey Korvatsky
Модель: talos_v1
Наличие: Есть в наличии
Антипарсер Talos PRO - программа защиты от несанкционированной нагрузки на сайт и защиты любого сайта от парсинга и защиты от ботов. Для сайтов Битрикс, OpenCart, WordPress, Joomla, Magenta, PrestaShop защита от парсинга, защита от ботовАнт...

Описание

Антипарсер Talos PRO - программа защиты от несанкционированной нагрузки на сайт и защиты любого сайта от парсинга и защиты от ботов. Для сайтов Битрикс, OpenCart, WordPress, Joomla, Magenta, PrestaShop защита от парсинга, защита от ботов

Антипарсер Talos PRO - это простой и легкий способ управления активностью на сайте

Антипарсер защищает:

  • Всех маркетинговых ботов (используемых конкурентами для расчета своих цен, остатков, ключевиков и др. задач)
  • От всех быстрых ПК парсеров, он-лайн парсеров - то есть фактически от основного объема тех несакционированных активностей, которые и создают проблемы в нагрузке и в конкуренции
  • От продвинутых парсеров, требуя от них долгого поиска и подобора решения, которое также должно меняться во времени и в конечном счете высокой стоимости таких работ 

Некоторые принципы защиты:

  • Отсутствие закономерности в том, что получает бот. Как только бот обнаружен, вместо бана он получает или фейковый контент, или контент, перемешанный фейковым контентом и реальным, в установленном Вами соотношении. Или также дополнительно перемешанный кода состояния HTTP. В результате ответ становится случайным, и подобрать скрипт при отсутствии закономерности, крайне дорого и долго. 
  • Капча, с установленным числом попыток
  • Анализ активности не только в коротких интервалах, но и в интервалах: час, полдня, день, неделя 
  • Возможна полная защита от доступа (подходит поставщикам), но при этом контент могут видеть и боты поисков и использоваться для изучения клиентами

Тестировался всеми популярными парсерами. Попробуйте и Вы отпарсить сайт: https://antiparser-talos-pro.extecom.com/

FAQ

Индекс поисковиков

Никак не влияет на индекс. Поисковые боты не меняются уже минимум 10 лет. Любое изменение со стороны поисковиков в части IP адресов ботов чревато для самих поисковиков потерей клиентов. Это не просто слова. Дело в том, что под данных об IP их ботов настроены сотни тысяч (если не миллионы) robots.txt, htaccess и множество других систем. Тем не менее, если поисковая система, вдруг, введет новый IP (а это случиться, если что-то очень серьезное случится:)), то такой новый IP достаточно добавить в лист исключений

Администрирование

Программа не является модулем по устройству и находится полностью на стороне сайта. Имеет свою отдельную админку и может применяться на любой CMS с поддержкой php. Постоянного администрирования не требуется. Антипарсер работает автоматически. Есть режимы жесткой и мягкой работы. Жесткий контроль может применяться, если Ваш сайт используется для работы с заранее известными партнерами. Мягкий режим для ситуаций, когда нужно временно скидывать ботов, парсеры, которые нарушают параметры активности

Изменения в CMS

Антипарсер не меняет ничего в CMS. Ни портит дизайн, ни php-код – ничего не меняет, ничего никогда не вставляет. Не используется база данных. Программа интегрирована в одной точке, делает проверку перед пуском основного фреймворка и в зависимости от того нарушитель или нет, пропускает запрос пользователя дальше, или работает с ним, как с нарушителем

Случайный бан клиентов

  • для поставщиков товаров, когда нужно контролировать нагрузку и отдавать контент только реальным клиентам, в т.ч. и контролируя качество работы их парсера, случайного бана быть не может в принципе. Может быть только заслуженный
  • для розничных магазинов, бан происходит только, если пользователь в конкретный период времени проявил нечеловеческую активность и при условии, что включен такой режим. Тем не менее, если нужно исключить случайные баны, например, ip-адрес в будущем окажется у другого пользователя, то рекомендуется использовать режим работы с временным баном и/или возврат из черного списка по проходу капчи (например, такой подход использует Google для ip адресов мобильных операторов связи и провайдеров с динамическими ip). В этом случае, любой человек результат получит, а вот бот, если IP всё еще у бота, так и останется в списке временного или постоянного бана

Подходы

Используются самые популярные подходы, но анализ идет не только в разрезе поведения в супер-короткие интервалы, но и по поведению пользователя вплоть до недели. Такой подход позволяет скидывать не только быстрые парсеры и ботов, но медленные парсеры, ботов, которые пытаются имитировать поведение людей 

Время обработки

Время обработки по исключениям (для поисковых сетей и ip, которые могут быть добавлены в исключения) составляет от тысячных до сотых долей секунды (при списке исключений с тысячами записями). На скорость загрузки страницы не влияет

Гарантии

Антипарсер защитит от 95% всех распространенных проблем:

  • От быстрых парсеров – это подавляющее число тех, кто оказывает услуги по мониторингу чего-либо
  • От ботов-мониторов цен и остатков где важен минимальный временной период между частями данных 
  • От ботом, которые с непонятно целью создают регулярную нагрузку
  • От умных парсеров также, потому что, как уже было сказало, даже, умный парсер нужно сделать, подбирая какие-то варианты, анализируя ответы и позже правя руками полученные данные от "мусора", который всё равно будет отдавать парсер в купе с остальным. Обычно от парсинга сайтов, где есть ручная работа отказываются ввиду опасности сломать себе данные и необходимости регулярной ручной проверки

Основные функции

  • Защита от парсинга и защита от ботов на основе мониторинга разрешенной активности, черных список, временных банов и капчи
  • Функция обмана парсера – подсовывание парсеру статических, заранее закешированных страниц, вместо актуальных данных, что делает не только бессмысленной парсинг Вашего сайта но и опасным с точки зрения качества данных, которые собирает сервис-бот
  • Доступ к сайту по определенным IP (подходит для защиты входа в админку, входа клиентов поставщика)
  • Установка разрешенных IP для парсинга (подходит для поставщиков, которым требуется установить IP-адреса клиентов, которым разрешен парсинг)
  • Логирование всех процессов
  • Автоматизация бана: автоматический временный бан
  • Автоматизация бана: автоматическое пополнение  черного и/или серого списка
  • Выбрасывание капчи с заданным числом попыток перед баном 
  • Отчеты на почту
  • Не требует постоянного редактирования - работает автоматически
  • Уже загружены исключения для поисковых систем, список исключение легко пополняется
  • Возможны исключения по языку или по содержанию заголовка AGENT у входящего сервера (например, для защита доступа к Вашему товарному API или при смысле с Вашими программами (1С и т.п.)
  • Время обработки одного запроса от десятых до несколько миллисекунд (тысячных долей секунды - время указывается в логе)
  • Ничего не меняет ни на хостинге, ни на сайте, ни в базе данных. Полностью свой код, который работает на стороне сайта

Видео защиты от парсинга популярного парсера DATACOL и типового он-лайн сервиса


Демонстрации

Пример защиты от ботов и парсинга сайта Opencart

Живая демонстрация защиты от ботов и парсинга сайта Opencart

Логин и пароль: demo

Пример защиты от ботов и парсинга сайта Prestahop

Живая демонстрация защиты от ботов и парсинга сайта Prestahop

Логин и пароль: demo

Совместимость и требования

  • Работает на любых сайтах: защита от парсинга Joomla, WordPress, OpenCart, Bitrix
  • php 5.4-7.2
  • База данных не требуется
  • IONCUBE
  • Работает полностью на стороне хостинга, где установлен, не использует и не меняет код CMS или серверных приложений
  • Совместим с OpenCart (всеми версиями), Magento (всеми версиями), Prestashop (всеми версиями), Joomla (всеми версиями), Wordpress (всеми версиями) и др. CMS, где возможно включение в основной исполняющий файл(ы) логики антипарсера без включением основной логики CMS  

Лицензия

  • Стоимость указана за один домен без ограничений по времени. На второй скидка 25%
  • Возможна пробная версия одна неделя бесплатно

Установка

Установка в течении нескольких минут, возможна установка нашими специалистами в рамках данной стоимость

Применение

  • Защита на базе ПК-парсеров (DATACOL и пр.) Да
  • Защита от "умных" дорогих парсеров Да
  • Защита от ботов конкурентов и ботов неизвестного назначения Да
  • Защита от он-лайн парсеров Да

Варианты защиты

  • Вечный бан по IP и диапазонам IP Да
  • Временная защита (временный бан) Да
  • Защита по капче перед баном Да
  • Постоянный бан по AGENT, LINK Да
  • Постоянный бан с выводоv из списка после прохождения капчи Да

Виды бана

  • Автоматический бан диапазонов IP, по суммарной активности, превы Да
  • Автоматический бан при нарушении, разрешенной активности Да
  • Бан по AGENT Да
  • Бан по LINK (запрет на ссылки) Да
  • Бан по активности (в сек., в мин., за 30 минут, в час, за 12 час Да
  • Бан по черному списку (редактируется самостоятельно) Да
  • Вечный бан, вне зависимости от того, пройдет ли пользователь кап Да

Виды исключений

  • Автоматическое исключение для поисковых роботов, маркетплейсов Да
  • Управление исключениями для доверенных пользователей по IP Да
  • Управление исключениями по AGENT Да
  • Управление исключениями по LINK (исключения на ссылки сайта) Да

Капча

  • Google капча Да
  • Количество попыток Любое
  • Своя капча (не поставляется, но может быть написана) Да

Логирование и серый список

  • Лог банов/исключений Да
  • Лог общей активности Да
  • Ротация логов (управление количеством и объемами логов) Да
  • Серый список с рекомендациями Да

Совместимость

  • Bitrix, OpenCart, PrestaShop, Magento, Joomla, WordPress, Drupal Да
  • Для любых сайтов с возможностью вставки php в исполнительный фай Да

Требования

  • ioncube Да
  • php от 5.4 до 7.2 (включительно) Да
  • База Данных Не требуется
  • Перезапись каких-либо конфигурационных файлов хостинга Не требуется
  • Перезапись каких-либо файлов CMS Не требуется

Установка

  • 1 год поддержки по ошибкам Да
  • 2-недельная бесплатная поддержка и помощь в освоении Да
  • Входит в стоимость Да
  • Наличие бесплатных обновлений Да

Написать отзыв

Примечание: HTML разметка не поддерживается! Используйте обычный текст.
    Плохо           Хорошо
Защита от роботов