Что такое веб-скрейпинг
Scraping по-английски «соскабливание». Метафора точная: с поверхности страницы снимают то, что человек видит глазами, и превращают в данные. Программа запрашивает страницу, получает её код, находит нужные места и сохраняет значения.
Аналогия попроще: вы идёте по магазину с блокнотом и записываете цены с ценников. Скрейпер делает то же самое, только в виртуальном магазине и очень быстро. Он не взламывает витрину, а читает ценники, выставленные для всех.
Скрейпингом занимаются давно и повсюду: агрегаторы авиабилетов, сервисы сравнения цен, поисковые системы, аналитики рынка. В большинстве случаев данные берутся из публичных страниц, которые доступны любому посетителю без пароля.
У скрейпинга есть и бытовое применение, которое вы видели сами. Когда сервис сравнения цен показывает один товар в десяти магазинах, он по сути сделал скрейпинг этих магазинов. Если вы пользуетесь агрегатором билетов или отелей, то пользуетесь результатом той же технологии.
Скрейпинг, краулинг и парсинг: три разных слова
Эти термины часто смешивают, хотя у них разные задачи.
Краулинг это обход сайта по ссылкам: программа открывает страницу, находит ссылки, переходит дальше. Так работают поисковые роботы. Скрейпинг добавляет к обходу извлечение нужных полей. Парсинг в узком смысле это разбор уже полученного текста или HTML. А индексирование это то, что поисковик делает потом: строит поисковую базу. К скрейпингу оно не относится.
В русскоязычной среде «парсинг» почти вытеснил «скрейпинг»: заказчики говорят «спарсить сайт», имея в виду весь процесс целиком. В англоязычной документации и вакансиях, наоборот, пишут web scraping, а parsing оставляют за разбором форматов: HTML, JSON, дат. При чтении зарубежных материалов эту разницу полезно помнить.
На практике для заказчика различия стираются. Когда вы просите «собрать каталог с сайта», внутри происходят все три действия: обход разделов, загрузка карточек, вытаскивание полей из разметки. Намного важнее понять, чем скрейпинг отличается от доступа через API.
Для примера: поисковый робот обходит миллионы сайтов, чтобы построить индекс, и ему не важны отдельные цены. Скрейпер магазина обходит десяток нужных сайтов и вытаскивает именно цены. Инструменты похожи, цели разные, и от цели зависит всё остальное: объём, частота, допустимость.
Скрейпинг или API: что выбрать
API это официальный способ получать данные от сервиса. Владелец сам определяет, что отдавать, в каком формате и с какими лимитами. Данные приходят чистыми, без привязки к вёрстке, и это самый надёжный вариант, если он существует.
Но API есть не у каждого сайта, а там, где он есть, отдаёт часто меньше, чем показано на странице. Бывает, что нужные поля недоступны, а доступ ограничен условиями. Тогда остаётся скрейпинг публичных страниц.
Ещё один законный путь это партнёрский фид, например в формате xml: владелец сайта сам обновляет его и отдаёт нужные поля. Скрейпинг тут не требуется, зато нужна договорённость с владельцем.
Поэтому перед началом работы я проверяю, есть ли официальный путь: API, выгрузка, партнёрский фид. Если он закрывает задачу, выбираю его. Если нет, смотрю правила площадки и доступность страниц. Чёткого ответа заранее не даю, пока не увижу конкретный источник.
Если вам предлагают «скрейпинг без ограничений», относитесь к такому обещанию настороженно. Сайт всегда может изменить вёрстку, ограничить доступ или закрыть данные, и честный исполнитель говорит об этом заранее.
Как скрейпят динамические сайты
Часть современных сайтов отдаёт пустую оболочку, а цены и список товаров подгружает скриптами уже после открытия. Обычный запрос такой страницы возвращает мало полезного.
Есть два основных решения. Первое: найти запрос, который сама страница отправляет за данными, и обращаться к нему напрямую. Часто он возвращает аккуратный JSON, с которым работать проще, чем с вёрсткой. Второе: открыть страницу в программно управляемом браузере, дождаться загрузки и забрать готовый результат. Это медленнее и требует больше ресурсов, зато работает почти с любой страницей.
Перед выбором я открываю страницу, смотрю, какие запросы она отправляет, и проверяю, лежат ли данные уже в исходном коде. Часто достаточно простого запроса, и тяжёлый браузерный способ не нужен.
Отдельная сложность это пагинация и «бесконечная прокрутка», когда следующая порция товаров появляется при движении вниз. Парсеру приходится повторять этот сценарий либо искать запрос, который стоит за прокруткой.
Устойчивость тоже зависит от выбора. Скрипты, которые читают внутренние запросы страницы, ломаются, когда сайт меняет их формат. Поэтому для регулярных задач я закладываю проверки: если структура ответа изменилась, вы узнаете об этом, а не получите пустой файл.
Для небольших задач вполне хватает и более простых способов. Если нужно собрать таблицу с одной страницы, браузер умеет её скопировать, а Excel умеет импортировать данные из веб-таблицы. К скрейперу стоит переходить, когда страниц много или данные нужны регулярно.
Если страница использует защиту от автоматизации, одной технической изобретательности не достаточно, и я не обещаю обход. Ищу официальный способ получить данные или предлагаю собрать то, что доступно открыто.
Что можно, а что нельзя собирать
Скрейпинг не отменяет правил. Тексты и фотографии охраняются авторским правом, у площадок есть пользовательские соглашения, а персональные данные регулирует закон. Поэтому собирают общедоступные сведения: цены, характеристики, адреса и контакты организаций, опубликованные самими компаниями.
Цифры лимитов запросов и условия доступа у разных площадок меняются, поэтому актуальные правила смотрю в день начала работы, а не по памяти. Если правила запрещают автоматический сбор, об этом вы узнаете до начала, а не после.
Ещё один практический вопрос: куда складывать данные. Скрейпинг даёт сырой материал, а удобство появляется после очистки и выгрузки в нужный формат. Для магазина это файл под импорт в CMS, для аналитика таблица или база, для отчёта сводка по датам. Формат лучше обсудить заранее.
Исполнитель отвечает за то, чтобы сбор был аккуратным: ограничивал частоту запросов, не пытался обойти защиту и не трогал закрытые разделы. Обо всём этом я говорю на старте, до начала работы.
Чтобы оценить задачу, пришлите пример страницы, список полей и нужную частоту обновления: разово, раз в сутки или чаще.