Парсинг динамических сайтов

Парсинг динамического сайта на JavaScript начинается с вопроса, откуда страница берёт данные. Я смотрю запросы страницы, а если их нельзя использовать, собираю данные через браузер. Результат отдаю в Excel, CSV или JSON.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2НазваниеКроссовки спортивные
3Цена6 200
4Размеры в наличии40, 41, 43
5Рейтинг4,6
6Ссылкаhttps://example.com/p/22
7Дата сбора2026-03-14
8Цена по акции5 500
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Почему обычный парсер видит пустую страницу

Страницу, которая отдаёт почти пустой HTML и наполняется скриптами, простым запросом не прочитать. Если открыть исходный код страницы и не найти в нём цен и названий, значит их подставляет JavaScript уже в браузере, и разбирать такой HTML бесполезно.

Решений два, и выбираю я их в таком порядке.

Сначала ищу данные, потом включаю браузер

Во вкладке сети браузера видно, какие запросы делает страница. Часто данные приходят отдельным ответом в формате JSON. Его читать быстрее и надёжнее, чем разбирать вёрстку, а нагрузка на сайт меньше. Если сайт предоставляет публичный API, использую его с учётом правил площадки.

Если данных нигде нет, кроме отрисованной страницы, подключаю Selenium или Playwright. Это настоящий браузер без окна: он выполняет скрипты, прокручивает страницу, нажимает «показать ещё» и отдаёт готовый результат. Работает медленнее, зато справляется со сложным интерфейсом.

  • Бесконечная прокрутка и кнопка «Загрузить ещё»
  • Переключатели размеров и цветов, которые меняют цену
  • Пагинация с адресами без перехода страницы
  • Ожидание загрузки элемента вместо угадывания пауз

Что получите на выходе

Результат отдаю таблицей в xlsx или csv, либо файлом json, если данные вложенные. Для товаров с вариантами каждая комбинация размера и цвета получает свою строку.

Если сайт часто обновляется, можно настроить повторный сбор и получать только изменения: новые товары, смену цены, исчезновение из наличия. Дата сбора на каждой строке показывает, когда товар последний раз был в наличии.

Что влияет на стоимость и срок

Разобрать страницу через JSON проще, чем автоматизировать браузер. Дольше всего занимают сайты с вложенными интерфейсами, где данные открываются по клику на каждый элемент. Каталог такого сайта обходится в несколько раз медленнее.

Перед началом проверяю, какие данные доступны и что разрешают правила сайта. Для оценки пришлите ссылку на страницу и опишите, что нужно сделать, чтобы увидеть данные: прокрутить, нажать кнопку, выбрать размер.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Как парсить динамические сайты на Python?

Сначала посмотреть, нет ли запроса с готовыми данными, и обратиться к нему через requests. Если нет, использовать Selenium или Playwright, которые выполняют скрипты страницы и дают готовый HTML для разбора.

Чем Selenium отличается от Playwright?

Обе библиотеки управляют браузером. Playwright новее, удобнее ждёт загрузки элементов и обычно стабильнее на сложных страницах. Selenium давно известен и хорошо подходит для простых сценариев. Выбираю по задаче.

Можно ли собрать данные, которые видны только после нажатия кнопок?

Да, браузерная автоматизация умеет нажимать, выбирать значения в списках и прокручивать страницу. Для каждого варианта товара получается отдельная строка с ценой и наличием.

Написать в чат