Парсер: что за программа и какие они бывают

Парсер это программа, которая читает текст определённого вида и достаёт из него нужные части. Применительно к сайтам парсер забирает со страниц цены, названия, описания и складывает их в таблицу. Расскажу, из чего он состоит, какие бывают виды и по каким признакам выбирать.

Написать в чатОтвечаю лично, без менеджеров
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Парсер в программировании и парсер сайтов

Слово «парсер» шире, чем кажется. В программировании парсер это любой разборщик структурированного текста. Браузер использует парсер HTML, чтобы построить страницу. Программа читает файл настроек с помощью парсера. Есть парсеры JSON, XML, дат, адресов и даже парсеры языков программирования внутри компиляторов.

Наглядный пример: калькулятор, в который вы вводите «12+30». Программа должна понять, что это два числа и знак, и только потом сложить. Этап «понять структуру» и есть разбор, а компонент, который его делает, называется парсером.

Когда о парсере спрашивают маркетологи и владельцы магазинов, речь почти всегда о парсере сайтов: программе, которая сама ходит по страницам и собирает информацию. Внутри такого парсера работает тот же принцип разбора разметки, просто сверху добавлена навигация по ссылкам и сохранение результата.

В магазинах и редакциях встречается и бытовое значение: парсером называют любую программу «для сбора с сайта». Так проще, и в разговоре с исполнителем вполне можно говорить именно так, главное, чтобы стало ясно, какие данные и откуда нужны.

Из чего состоит парсер сайтов

Даже простая программа для сбора данных состоит из пяти частей. Понимание этой схемы помогает читать описания готовых продуктов и разговаривать с разработчиком на одном языке.

  • Загрузчик получает страницы по адресам, соблюдает паузы между запросами, повторяет запрос при сбое.
  • Обходчик находит ссылки на разделы, страницы пагинации и карточки, чтобы не перечислять адреса вручную.
  • Разборщик содержит правила: где на странице лежит цена, где название, где список характеристик.
  • Обработчик чистит значения, склеивает варианты товара, убирает дубли.
  • Экспорт записывает результат в файл нужного формата или отправляет в базу.

Часто к этим пяти частям добавляют шестую: журнал событий. Он записывает, какие страницы удалось обработать, а какие нет, и сколько записей получилось. Без журнала невозможно понять, почему из тысячи карточек в файле оказалось девятьсот: то ли часть товаров снята с продажи, то ли страница ответила ошибкой.

Ещё одна важная деталь это вежливость. Хороший парсер делает паузы между запросами и не создаёт лишней нагрузки на сайт. Это нужно и для самого сайта, и для стабильности вашего сбора: слишком частые запросы приводят к ограничениям.

Виды парсеров по способу использования

Готовые программы для компьютера ставятся как обычное приложение. Вы задаёте адреса и выбираете поля на странице, программа сохраняет результат. Это удобно для типовых сайтов, но на нестандартных страницах настройка бывает трудоёмкой.

Расширения для браузера работают внутри вашего Chrome или аналога. Подходят для небольших выгрузок с одной-двух страниц, где достаточно кликнуть по нужным блокам.

Облачные сервисы запускают сбор на чужих серверах: вы настраиваете задачу в личном кабинете и забираете результат оттуда. Не нужно держать компьютер включённым, но условия использования определяет сервис.

Скрипты и программы на заказ пишутся под конкретный источник. Здесь можно учесть любые особенности: динамическую подгрузку, сложные товары с вариантами, нужный формат загрузки в вашу CMS. Это самый гибкий вариант, а его цена зависит от сложности сайта.

Есть и разделение по языку: парсеры пишут на Python, PHP, Node.js. Для заказчика различие обычно незаметно, он получает файл или регулярные выгрузки. Язык важен, если вы хотите дальше поддерживать код сами.

Если нужен именно парсер аудитории или соцсетей, это отдельная категория с жёсткими ограничениями. Закон о персональных данных не позволяет собирать списки людей без оснований, поэтому такие инструменты имеют смысл только в рамках правил площадки. Я такую услугу не оказываю.

В названиях продуктов вы встретите слова «парсер», «граббер», «скрейпер», «краулер». Для выбора это малоинформативно, смотрите на возможности: что умеет с динамическими страницами, как работает с вариантами товаров, в какие форматы выгружает.

Не лишне проверить и внешние условия. У программы может быть ограничение на число страниц, у облачного сервиса лимит на задачи, у расширения зависимость от версии браузера. Эти нюансы лучше выяснить до начала работы, а не посреди сбора.

Как выбрать парсер под свою задачу

Начните с трёх вопросов: сколько страниц, как часто нужны данные и насколько сложна страница. Если нужно собрать пятьдесят карточек один раз, хватит расширения или даже ручной выгрузки. Если каталог на десятки тысяч позиций обновляется каждый день, готовая программа превратится в постоянную возню, и разработка под задачу окупится спокойнее.

Отдельно посмотрите на то, как открывается сайт. Если цена появляется только после загрузки скриптов, обычный HTML-парсер её не увидит, и нужен инструмент, который выполняет JavaScript, как браузер. Если у товара есть варианты по размеру и цвету, у каждого своя цена и свой остаток, а простые программы часто собирают только первый вариант.

Куда пойдут данные, тоже важно. Для загрузки в OpenCart, PrestaShop, WordPress или Битрикс нужен файл особого формата, иначе результат придётся вручную переупаковывать.

Перед полным запуском возьмите десять страниц и посмотрите, правильно ли собрались поля. Если программа путает цену со скидкой или теряет часть вариантов, лучше узнать об этом сразу, а не после обработки всего каталога.

Спросите себя и о поддержке. Сайты меняются, и парсер, написанный полгода назад, может перестать работать. С готовой программой вы ждёте обновления от её автора. С разработкой под заказ обновление зависит от договорённости с исполнителем, и её лучше обсудить заранее.

Когда проще заказать, чем настраивать

Настраивать готовую программу имеет смысл, если вы собираетесь делать это регулярно и готовы разобраться в интерфейсе. Заказывать лучше, когда времени мало, сайт нестандартный или нужна выгрузка сразу в структуру вашего магазина.

Иногда оказывается, что нужное лежит в готовом прайсе поставщика в формате xml или csv, и парсер вообще не нужен. Про такой вариант я скажу честно.

Я делаю парсеры под конкретную задачу: разовые выгрузки и автоматические, с мониторингом цен. Для оценки пришлите ссылку на сайт, перечень полей и скажите, нужна выгрузка один раз или по расписанию.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Парсер и граббер это одно и то же?

В контексте сбора данных слова почти синонимы. Граббер чаще используют про захват контента целиком, парсер подчёркивает разбор страниц на отдельные поля. Разницу в названиях можно не искать.

Чем парсер отличается от обычного скачивания сайта?

Скачивание сохраняет страницы как есть, вместе с оформлением. Парсер забирает только нужные поля и раскладывает их по столбцам, поэтому результат можно сразу открыть в Excel или загрузить в магазин.

Нужен ли парсеру постоянный компьютер?

Для программы на вашем ПК да, она работает, пока включён компьютер. Облачный сервис и серверный скрипт работают независимо: компьютер можно выключить, а результат придёт позже.

Какие данные нельзя собирать парсером?

Нельзя собирать персональные данные людей без законных оснований, закрытое содержимое и материалы, защищённые правилами площадки. Я работаю только с общедоступной информацией и данными компаний, опубликованными самими организациями.

Парсером называют только программу?

Чаще всего да. Но в командах так иногда называют и сотрудника, который отвечает за выгрузки, а в программировании парсер может быть частью другой программы, например разборщиком HTML внутри браузера. Обычно по контексту понятно, о чём речь.

Что такое бот-парсер?

Обычно так называют бота в мессенджере, который по команде собирает данные с сайтов и присылает результат: свежие цены, новые объявления по фильтру, изменения на странице. Внутри это тот же парсер, просто запуск и выдача идут через чат. Правила площадок и закон о персональных данных действуют для него так же.

Написать в чат