Три подхода к парсингу на Python
Первый подход самый простой: скачать HTML и разобрать его. Работает, когда данные лежат прямо в исходном коде страницы. Скорость высокая, ресурсов нужно мало.
Второй подход: найти запрос, который сама страница отправляет за данными. Во вкладке сети браузера обычно видно запросы, возвращающие JSON с товарами и ценами. Работать с таким ответом проще и стабильнее, чем с вёрсткой, потому что структура JSON реже меняется.
Третий подход: автоматизировать браузер, например через Playwright. Программа открывает страницу, ждёт загрузки скриптов, нажимает кнопки и читает результат. Подходит для динамических страниц, но медленнее и тяжелее. На практике я начинаю с первого и второго, а к браузеру перехожу, когда без него нельзя.
Простое правило выбора: сначала загляните в исходный код страницы. Если нужная цена видна в нём текстом, хватит первого подхода. Если её там нет, откройте вкладку сети и поищите запрос с данными. Браузер подключайте последним.
Как устроен проект от задачи до файла
Рабочий проект состоит из нескольких слоёв, и держать их раздельно удобнее, чем писать всё одним скриптом.
- Список источников: адреса разделов, пагинация, поисковые запросы.
- Загрузка с паузами, таймаутами и повторными попытками.
- Разбор: функции, которые превращают страницу в словарь с нужными полями.
- Проверка: заполнены ли обязательные поля, не пришла ли пустая страница.
- Сохранение: csv, xlsx, json или запись в базу.
Хранение, запуск по расписанию и обновление
Для разовой выгрузки достаточно файла. Если сбор повторяется, удобнее хранить записи в базе, например SQLite: так проще сравнивать вчерашнее и сегодняшнее состояние и находить изменения цен.
Регулярный запуск настраивают планировщиком. В Windows это Планировщик заданий, на Linux cron. Результат можно отправлять на почту или записывать в таблицу Google, чтобы вы видели свежие данные без запуска программы.
Если данные нужны в интернет-магазине, на выходе формируют файл под импорт вашей CMS: OpenCart, PrestaShop, WordPress, Битрикс и другие. Структура файла у каждой системы своя.
Если данные важны, ведите журнал запусков: сколько страниц обработано, сколько записей получено, сколько ошибок. По нему сразу видно, когда что-то пошло не так.
Типичные ошибки и подводные камни
Самая частая проблема кодировка: русские буквы превращаются в набор знаков. Лечится явным указанием utf-8 при чтении и записи, а для Excel кодировкой utf-8-sig.
Вторая проблема потеря данных молча. Сайт сменил вёрстку, селектор перестал находить цену, программа записала пустые значения и пошла дальше. Защита проста: проверять заполненность и останавливаться или сообщать, если доля пустых полей выросла.
Третья проблема нагрузка и правила. Слишком частые запросы создают нагрузку на чужой сайт, а сбор запрещённых или персональных данных нарушает закон. Поэтому паузы обязательны, а перед стартом стоит прочитать условия площадки и проверить, нет ли официального API.
Четвёртая: дубли и сопоставление. Один товар на разных страницах, разные написания бренда, цена со скидкой и без. Лучше заранее решить, что считать ключом записи: артикул, адрес или сочетание полей.
Ещё одна тонкость: тестируйте парсер на разных страницах, а не только на удачных. Товар без цены, карточка без фото, снятая с продажи позиция ведут себя иначе, и именно они ломают программу ночью, когда за ней никто не смотрит.
Самому или заказать
Если вы знакомы с Python, простой парсер напишется за несколько часов, и для начала хватит статей про библиотеки и пошаговый пример. Если сайт сложный, нужна поддержка, регулярный запуск и загрузка в магазин, разумнее заказать.
Для сравнения, что чаще всего заказывают на Python: мониторинг цен конкурентов раз в сутки, выгрузка каталога поставщика в формате для магазина, сбор контактов организаций из справочников для отдела продаж, сбор отзывов для анализа. Для таких задач язык подходит хорошо.
Я делаю такие парсеры на заказ: разовые и автоматические, с динамическими страницами и сложными товарами. Для оценки пришлите ссылку на источник, перечень полей и частоту запуска, а если данные пойдут в магазин, назовите его CMS.