Как защитить сайт от парсинга

Защитить сайт от парсинга полностью нельзя: всё, что видит посетитель, технически может прочитать программа. Но собрать данные можно сделать неудобным и нерентабельным. Ниже советы владельцам сайтов: от лимитов запросов до юридических мер, и как не навредить поисковому трафику.

Написать в чатОтвечаю лично, без менеджеров
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Что реально можно защитить, а что нет

Сначала честная оценка. Если страница открывается в браузере без пароля, её содержимое можно получить автоматически. Скрыть данные от парсера и одновременно показать их людям невозможно. Поэтому задача защиты это не герметичность, а снижение выгоды: сделать так, чтобы массовая выгрузка стоила больше, чем даёт.

Прежде чем защищаться, определите, что именно вам важно сохранить. Если это уникальные тексты и фото, они охраняются авторским правом, и здесь работают юридические меры. Если это цены и ассортимент, их знают конкуренты и покупатели, и скрывать нечего. Если это закрытая клиентская база, её нужно прятать за авторизацией, а не за хитрой вёрсткой.

Технические меры, которые работают

Ограничение частоты запросов самая полезная мера. Человек не открывает по десять страниц в секунду. На веб-сервере nginx для этого есть модуль ограничения запросов (директива limit_req), аналогичные настройки есть у других серверов и у CDN. Лимит ставьте с запасом, чтобы не задеть обычных посетителей.

Анализ журналов показывает, кто собирает ваш сайт. Признаки: тысячи запросов с одного адреса, обход страниц строго по порядку, отсутствие картинок и стилей в запросах, одинаковые интервалы. Найдя такой адрес, можно ограничить его или проверить дополнительно.

Сервисы защиты и фильтры трафика (WAF, антибот-сервисы на уровне CDN) решают задачу массово, но настраивать их нужно осторожно, чтобы не потерять легальных посетителей.

Отдельно подумайте о легальных ботах. Поисковые роботы Яндекса и Google нужны вам для трафика, и их надо отличать от посторонних. Поисковые системы публикуют способы проверки: обратный DNS-запрос по адресу бота и сверка имени хоста. На этом основании в правилах сервера создают список разрешённых адресов.

  • Лимиты на число запросов с одного адреса в минуту.
  • Мониторинг журналов и оповещение при всплесках.
  • Проверка поисковых ботов по обратному DNS, а не по User-Agent.
  • Авторизация для данных, которые не должны быть общедоступными.
  • Официальное API с ключами и квотами для партнёров.

Чего не стоит делать

Не полагайтесь на robots.txt: это просьба, а не защита. Недобросовестный сбор её игнорирует, зато добросовестные роботы выполняют.

Не блокируйте по одному User-Agent: его меняют за секунду, а вы рискуете закрыть доступ нужным ботам. Не прячьте цены картинками: пострадают пользователи с плохим зрением и SEO. Не ставьте капчу на каждую страницу: конверсия упадёт сильнее, чем снизится нагрузка.

Не перегибайте с защитой, если ваши данные и так публичны. Агрессивные блокировки часто ломают работу партнёров, агрегаторов и сервисов, которые вы сами хотели бы видеть среди посетителей.

Если вы всё же хотите усложнить сбор, выбирайте меры, которые не касаются обычных посетителей: ограничения скорости, отдача данных частями, проверка нетипичного поведения. Каждую меру протестируйте на живом трафике.

Правовые меры и пользовательское соглашение

Пропишите в пользовательском соглашении запрет на автоматический сбор или условия на него. Это даёт основание ограничить доступ нарушителю и ссылаться на правила в споре.

Указывайте авторство и права на фотографии и тексты, ставьте водяные знаки на изображения. При нарушении можно обращаться с претензией к тому, кто разместил копию, и к хостинг-провайдеру, а в серьёзных случаях к юристу.

Если сбор идёт через авторизацию или вы подозреваете обход защиты, зафиксируйте журналы и скриншоты: они пригодятся для претензии. Это общая информация, а не юридическая консультация.

Дать данные законным способом

Часто лучший способ защиты это предложить удобную альтернативу. Партнёрский фид или API с ключом снимают у заинтересованных сторон необходимость собирать страницы и позволяют вам контролировать, кто и что получает.

Я сам занимаюсь сбором общедоступных данных и при работе проверяю правила площадки, ищу официальный путь и не обхожу защиту. Поэтому могу сказать и со стороны исполнителя: ограничение запросов и понятные правила снимают большинство проблем. Если хотите отдавать каталог партнёрам фидом или выгрузкой, пришлите ссылку на сайт и опишите, кому и какие поля нужны.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Как понять, что мой сайт парсят?

Смотрите журналы сервера: аномально много запросов с одного адреса, последовательный обход страниц, запросы без картинок и стилей, рост нагрузки без роста продаж. Помогают и системы аналитики с отчётом по ботам.

Мешает ли защита от парсинга SEO?

Может, если заблокировать поисковых ботов. Проверяйте их по обратному DNS, а не по названию, и оставляйте им доступ. Мягкие лимиты запросов поисковым роботам обычно не мешают.

Помогает ли капча?

Она замедляет часть автоматизации, но раздражает посетителей и не останавливает все программы. Ставьте её выборочно: на формы входа и поиск, а не на каждую страницу каталога.

Можно ли запретить парсинг юридически?

Запрет можно прописать в пользовательском соглашении и защитить авторские права на тексты и фото, но результат зависит от обстоятельств. Для споров нужны доказательства и совет юриста, это общая информация.

Написать в чат