Что реально можно защитить, а что нет
Сначала честная оценка. Если страница открывается в браузере без пароля, её содержимое можно получить автоматически. Скрыть данные от парсера и одновременно показать их людям невозможно. Поэтому задача защиты это не герметичность, а снижение выгоды: сделать так, чтобы массовая выгрузка стоила больше, чем даёт.
Прежде чем защищаться, определите, что именно вам важно сохранить. Если это уникальные тексты и фото, они охраняются авторским правом, и здесь работают юридические меры. Если это цены и ассортимент, их знают конкуренты и покупатели, и скрывать нечего. Если это закрытая клиентская база, её нужно прятать за авторизацией, а не за хитрой вёрсткой.
Технические меры, которые работают
Ограничение частоты запросов самая полезная мера. Человек не открывает по десять страниц в секунду. На веб-сервере nginx для этого есть модуль ограничения запросов (директива limit_req), аналогичные настройки есть у других серверов и у CDN. Лимит ставьте с запасом, чтобы не задеть обычных посетителей.
Анализ журналов показывает, кто собирает ваш сайт. Признаки: тысячи запросов с одного адреса, обход страниц строго по порядку, отсутствие картинок и стилей в запросах, одинаковые интервалы. Найдя такой адрес, можно ограничить его или проверить дополнительно.
Сервисы защиты и фильтры трафика (WAF, антибот-сервисы на уровне CDN) решают задачу массово, но настраивать их нужно осторожно, чтобы не потерять легальных посетителей.
Отдельно подумайте о легальных ботах. Поисковые роботы Яндекса и Google нужны вам для трафика, и их надо отличать от посторонних. Поисковые системы публикуют способы проверки: обратный DNS-запрос по адресу бота и сверка имени хоста. На этом основании в правилах сервера создают список разрешённых адресов.
- Лимиты на число запросов с одного адреса в минуту.
- Мониторинг журналов и оповещение при всплесках.
- Проверка поисковых ботов по обратному DNS, а не по User-Agent.
- Авторизация для данных, которые не должны быть общедоступными.
- Официальное API с ключами и квотами для партнёров.
Чего не стоит делать
Не полагайтесь на robots.txt: это просьба, а не защита. Недобросовестный сбор её игнорирует, зато добросовестные роботы выполняют.
Не блокируйте по одному User-Agent: его меняют за секунду, а вы рискуете закрыть доступ нужным ботам. Не прячьте цены картинками: пострадают пользователи с плохим зрением и SEO. Не ставьте капчу на каждую страницу: конверсия упадёт сильнее, чем снизится нагрузка.
Не перегибайте с защитой, если ваши данные и так публичны. Агрессивные блокировки часто ломают работу партнёров, агрегаторов и сервисов, которые вы сами хотели бы видеть среди посетителей.
Если вы всё же хотите усложнить сбор, выбирайте меры, которые не касаются обычных посетителей: ограничения скорости, отдача данных частями, проверка нетипичного поведения. Каждую меру протестируйте на живом трафике.
Правовые меры и пользовательское соглашение
Пропишите в пользовательском соглашении запрет на автоматический сбор или условия на него. Это даёт основание ограничить доступ нарушителю и ссылаться на правила в споре.
Указывайте авторство и права на фотографии и тексты, ставьте водяные знаки на изображения. При нарушении можно обращаться с претензией к тому, кто разместил копию, и к хостинг-провайдеру, а в серьёзных случаях к юристу.
Если сбор идёт через авторизацию или вы подозреваете обход защиты, зафиксируйте журналы и скриншоты: они пригодятся для претензии. Это общая информация, а не юридическая консультация.
Дать данные законным способом
Часто лучший способ защиты это предложить удобную альтернативу. Партнёрский фид или API с ключом снимают у заинтересованных сторон необходимость собирать страницы и позволяют вам контролировать, кто и что получает.
Я сам занимаюсь сбором общедоступных данных и при работе проверяю правила площадки, ищу официальный путь и не обхожу защиту. Поэтому могу сказать и со стороны исполнителя: ограничение запросов и понятные правила снимают большинство проблем. Если хотите отдавать каталог партнёрам фидом или выгрузкой, пришлите ссылку на сайт и опишите, кому и какие поля нужны.