Как создать парсер: общий порядок для любого языка
Любой парсер сайта, на каком бы языке его ни писали, делается в одном порядке. Сначала разберитесь в задаче, а уже потом открывайте редактор кода.
- Определить источник и поля: какие страницы обходить и что забирать с каждой.
- Открыть код страницы в браузере и найти, в каких тегах и классах лежат нужные значения.
- Проверить, есть ли данные в исходном HTML или их подгружает скрипт отдельным запросом.
- Написать загрузку страниц с паузами и разбор нужных элементов.
- Добавить обход пагинации, очистку значений и сохранение в CSV или Excel.
- Сверить результат с сайтом на нескольких карточках.
Написать парсер можно на PHP, JavaScript, C# и даже на C, но для первого опыта удобнее Python: короткий код, готовые библиотеки для запросов и разбора HTML, много примеров. Сборщик сайтов на C тоже возможен, только многое из того, что в Python уже есть в библиотеках, придётся делать самому.
Дальше весь путь на Python, от установки библиотек до готового файла.
Что понадобится и на чём тренироваться
Нужен установленный Python и две библиотеки: requests для загрузки страниц и beautifulsoup4 для разбора HTML. Ставятся командой pip install requests beautifulsoup4. Больше для первого парсера ничего не требуется.
Для порядка создайте виртуальное окружение командой python -m venv venv и активируйте его. Тогда библиотеки установятся в папку проекта и не смешаются с другими программами. Это привычка, которая экономит время при переносе проекта на другой компьютер.
Тренироваться лучше на странице, которую специально сделали для обучения. Один из таких сайтов называется Books to Scrape (books.toscrape.com): это вымышленный книжный магазин, на котором разрешено упражняться в сборе данных. Там есть каталог с карточками, цены, рейтинг и постраничная навигация, а защиты нет. Реальные магазины для первых опытов не подходят: у них свои правила, а структура сложнее.
Загрузить страницу и найти нужные элементы
Первый шаг получить HTML. Вызов requests.get(url, timeout=10) вернёт ответ сервера. Сразу проверьте код ответа методом raise_for_status(): если страница недоступна, программа остановится с понятной ошибкой, а не будет молча работать с пустотой.
Если вместо русских или специальных символов вы видите странные значки, задайте кодировку вручную: response.encoding = 'utf-8'. На учебном сайте символ фунта иногда отображается криво именно из-за этого.
Заранее добавьте паузу между запросами, например time.sleep(1). Привычка не нагружать чужой сервер пригодится и на реальных задачах.
Откройте страницу в браузере, нажмите правой кнопкой по названию книги и выберите «Исследовать». Вы увидите, что каждая карточка лежит в теге article с классом product_pod. Внутри заголовок в теге h3 со ссылкой, цена в абзаце с классом price_color.
В коде это записывается так: soup = BeautifulSoup(response.text, 'html.parser'), затем cards = soup.select('article.product_pod'). Метод select принимает тот же селектор, что используется в стилях страниц, и возвращает список всех подходящих блоков.
Дальше для каждой карточки достаём поля. Название лежит в атрибуте title ссылки: card.h3.a['title']. Цену читаем из card.select_one('p.price_color').text. Рейтинг в учебном магазине хранится в классе тега, например star-rating Three, и его можно превратить в число словарём соответствия.
Пройти по страницам и сохранить результат
Каталог разбит на страницы с адресами вида catalogue/page-2.html. Простейший цикл идёт по номерам от первого и останавливается, когда сервер отвечает 404, то есть страницы закончились.
Собранные записи складывайте в список словарей. В конце откройте файл через open('books.csv', 'w', newline='', encoding='utf-8-sig') и запишите строки с помощью csv.DictWriter. Кодировка utf-8-sig нужна, чтобы Excel правильно показал кириллицу.
Цену перед записью очистите: уберите знак валюты и приведите к числу, иначе в таблице она останется текстом. Дубли проверяйте по адресу карточки.
В конце проверьте результат глазами. Откройте файл в Excel, сравните три-четыре строки с оригинальными карточками на сайте, посмотрите, нет ли пустых ячеек. Такая проверка быстро показывает ошибку в селекторе и избавляет от неприятных сюрпризов в большой выгрузке.
Где начинаются сложности
Учебный пример это максимально простой случай. На реальных сайтах быстро появляются отличия: цены подгружаются скриптами, у товара есть варианты по размеру и цвету, страницы меняют вёрстку, а правила площадки ограничивают частоту запросов. Тогда нужны браузерная автоматизация, обработка ошибок, повторные попытки и журнал.
Защиту сайтов от ботов, капчи и блокировки я в этом руководстве не разбираю и обходить не советую. Если сайт ограничивает автоматический доступ, правильный путь поискать официальный API или выгрузку.
Если разбираться самому нет времени, пришлите ссылку на сайт и перечень полей, которые нужны в таблице. Напишу парсер под этот источник, разовый или с запуском по расписанию, с учётом динамических страниц, пагинации и товаров с вариантами.