Парсинг сайтов на Python: с чего начать

Парсинг на Python строится на трёх подходах: разбор готового HTML, чтение скрытых запросов с данными и управление браузером. Выбор зависит от сайта. Здесь разберу, как они различаются, как организовать проект и какие ошибки встречаются чаще всего.

Написать в чатОтвечаю лично, без менеджеров
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Три подхода к парсингу на Python

Первый подход самый простой: скачать HTML и разобрать его. Работает, когда данные лежат прямо в исходном коде страницы. Скорость высокая, ресурсов нужно мало.

Второй подход: найти запрос, который сама страница отправляет за данными. Во вкладке сети браузера обычно видно запросы, возвращающие JSON с товарами и ценами. Работать с таким ответом проще и стабильнее, чем с вёрсткой, потому что структура JSON реже меняется.

Третий подход: автоматизировать браузер, например через Playwright. Программа открывает страницу, ждёт загрузки скриптов, нажимает кнопки и читает результат. Подходит для динамических страниц, но медленнее и тяжелее. На практике я начинаю с первого и второго, а к браузеру перехожу, когда без него нельзя.

Простое правило выбора: сначала загляните в исходный код страницы. Если нужная цена видна в нём текстом, хватит первого подхода. Если её там нет, откройте вкладку сети и поищите запрос с данными. Браузер подключайте последним.

Как устроен проект от задачи до файла

Рабочий проект состоит из нескольких слоёв, и держать их раздельно удобнее, чем писать всё одним скриптом.

  • Список источников: адреса разделов, пагинация, поисковые запросы.
  • Загрузка с паузами, таймаутами и повторными попытками.
  • Разбор: функции, которые превращают страницу в словарь с нужными полями.
  • Проверка: заполнены ли обязательные поля, не пришла ли пустая страница.
  • Сохранение: csv, xlsx, json или запись в базу.

Хранение, запуск по расписанию и обновление

Для разовой выгрузки достаточно файла. Если сбор повторяется, удобнее хранить записи в базе, например SQLite: так проще сравнивать вчерашнее и сегодняшнее состояние и находить изменения цен.

Регулярный запуск настраивают планировщиком. В Windows это Планировщик заданий, на Linux cron. Результат можно отправлять на почту или записывать в таблицу Google, чтобы вы видели свежие данные без запуска программы.

Если данные нужны в интернет-магазине, на выходе формируют файл под импорт вашей CMS: OpenCart, PrestaShop, WordPress, Битрикс и другие. Структура файла у каждой системы своя.

Если данные важны, ведите журнал запусков: сколько страниц обработано, сколько записей получено, сколько ошибок. По нему сразу видно, когда что-то пошло не так.

Типичные ошибки и подводные камни

Самая частая проблема кодировка: русские буквы превращаются в набор знаков. Лечится явным указанием utf-8 при чтении и записи, а для Excel кодировкой utf-8-sig.

Вторая проблема потеря данных молча. Сайт сменил вёрстку, селектор перестал находить цену, программа записала пустые значения и пошла дальше. Защита проста: проверять заполненность и останавливаться или сообщать, если доля пустых полей выросла.

Третья проблема нагрузка и правила. Слишком частые запросы создают нагрузку на чужой сайт, а сбор запрещённых или персональных данных нарушает закон. Поэтому паузы обязательны, а перед стартом стоит прочитать условия площадки и проверить, нет ли официального API.

Четвёртая: дубли и сопоставление. Один товар на разных страницах, разные написания бренда, цена со скидкой и без. Лучше заранее решить, что считать ключом записи: артикул, адрес или сочетание полей.

Ещё одна тонкость: тестируйте парсер на разных страницах, а не только на удачных. Товар без цены, карточка без фото, снятая с продажи позиция ведут себя иначе, и именно они ломают программу ночью, когда за ней никто не смотрит.

Самому или заказать

Если вы знакомы с Python, простой парсер напишется за несколько часов, и для начала хватит статей про библиотеки и пошаговый пример. Если сайт сложный, нужна поддержка, регулярный запуск и загрузка в магазин, разумнее заказать.

Для сравнения, что чаще всего заказывают на Python: мониторинг цен конкурентов раз в сутки, выгрузка каталога поставщика в формате для магазина, сбор контактов организаций из справочников для отдела продаж, сбор отзывов для анализа. Для таких задач язык подходит хорошо.

Я делаю такие парсеры на заказ: разовые и автоматические, с динамическими страницами и сложными товарами. Для оценки пришлите ссылку на источник, перечень полей и частоту запуска, а если данные пойдут в магазин, назовите его CMS.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Python подходит для парсинга любого сайта?

Для большинства сайтов да, но возможности ограничивают сам сайт и его правила. Где данные закрыты или доступ ограничен, технология не меняет ситуацию, и я ищу официальный путь.

Можно ли на Python разбирать не сайты, а текст и логи?

Да, и это даже проще. Строки разбирают встроенными методами вроде split, сложные шаблоны модулем re, табличные и структурированные файлы модулями csv и json. Для журнала сервера обычно хватает регулярного выражения на одну строку лога и цикла по файлу.

Как парсить сайт с JavaScript на Python?

Либо найти внутренний запрос, который отдаёт данные в формате JSON, либо использовать управляемый браузер, например Playwright. Первый способ быстрее, второй универсальнее. Выбор зависит от конкретной страницы.

Как не создавать нагрузку на сайт?

Делайте паузы между запросами, ограничивайте число одновременных соединений и не повторяйте запросы без необходимости. Кеширование уже полученных страниц помогает при отладке и уменьшает число обращений.

Куда сохранять результаты парсинга?

Для небольших выгрузок подходит csv или xlsx. Для регулярного сбора лучше база данных, например SQLite, или таблица Google. Формат выбирают под дальнейшую работу с данными.

Написать в чат