Почему обычный парсер видит пустую страницу
Страницу, которая отдаёт почти пустой HTML и наполняется скриптами, простым запросом не прочитать. Если открыть исходный код страницы и не найти в нём цен и названий, значит их подставляет JavaScript уже в браузере, и разбирать такой HTML бесполезно.
Решений два, и выбираю я их в таком порядке.
Сначала ищу данные, потом включаю браузер
Во вкладке сети браузера видно, какие запросы делает страница. Часто данные приходят отдельным ответом в формате JSON. Его читать быстрее и надёжнее, чем разбирать вёрстку, а нагрузка на сайт меньше. Если сайт предоставляет публичный API, использую его с учётом правил площадки.
Если данных нигде нет, кроме отрисованной страницы, подключаю Selenium или Playwright. Это настоящий браузер без окна: он выполняет скрипты, прокручивает страницу, нажимает «показать ещё» и отдаёт готовый результат. Работает медленнее, зато справляется со сложным интерфейсом.
- Бесконечная прокрутка и кнопка «Загрузить ещё»
- Переключатели размеров и цветов, которые меняют цену
- Пагинация с адресами без перехода страницы
- Ожидание загрузки элемента вместо угадывания пауз
Что получите на выходе
Результат отдаю таблицей в xlsx или csv, либо файлом json, если данные вложенные. Для товаров с вариантами каждая комбинация размера и цвета получает свою строку.
Если сайт часто обновляется, можно настроить повторный сбор и получать только изменения: новые товары, смену цены, исчезновение из наличия. Дата сбора на каждой строке показывает, когда товар последний раз был в наличии.
Что влияет на стоимость и срок
Разобрать страницу через JSON проще, чем автоматизировать браузер. Дольше всего занимают сайты с вложенными интерфейсами, где данные открываются по клику на каждый элемент. Каталог такого сайта обходится в несколько раз медленнее.
Перед началом проверяю, какие данные доступны и что разрешают правила сайта. Для оценки пришлите ссылку на страницу и опишите, что нужно сделать, чтобы увидеть данные: прокрутить, нажать кнопку, выбрать размер.