Парсинг: что это такое и как работает

Парсинг сайтов это автоматический сбор данных со страниц и их раскладка по столбцам таблицы: программа сама проходит по страницам и забирает названия, цены, описания. Парсинг данных в широком смысле это разбор любого текста по правилам на понятные программе части. Ниже разберу, как это работает и что значит ошибка парсинга.

Написать в чатОтвечаю лично, без менеджеров
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Что такое парсинг простыми словами

Слово пришло от английского parse, «разбирать». Страница сайта для компьютера это длинный текст с разметкой, в котором названия, цены и картинки перемешаны с кодом оформления. Парсинг превращает этот текст в аккуратные записи: одна строка на товар, одна колонка на характеристику.

Человек делает то же самое глазами и мышкой: открывает карточку, выделяет цену, копирует, вставляет в таблицу. Парсинг переносит эту работу на программу. Она не устаёт и не путает строки, а за час проходит столько страниц, сколько вручную не осилить за неделю.

Простой пример. На странице каталога у каждого товара название, цена и ссылка на фото. Для человека это витрина, для парсера повторяющийся шаблон: блок, внутри него три одинаковых по структуре элемента. Программа находит все блоки, берёт из каждого три значения и записывает три ячейки. Чем однороднее страница, тем проще парсинг.

Результат всегда похож на обычную таблицу. Нужен Excel для сравнения цен или CSV для загрузки в магазин, парсер просто записывает найденное в нужный формат, а дальше с файлом работают как с любой другой таблицей.

Парсинг сайтов и парсинг данных: в чём разница

Парсинг данных это более широкое понятие. В программировании так называют разбор любых входных данных по известным правилам: браузер парсит HTML, чтобы нарисовать страницу, программа парсит файл настроек или ответ сервера в формате JSON, компилятор парсит исходный код. Везде смысл один: из сплошного текста получить структуру, с которой можно работать. Когда программист говорит «распарсить строку», он имеет в виду, например, разделить дату «11.11.2026» на день, месяц и год или вытащить из адреса страницы номер товара.

Парсинг сайтов это частный случай, когда входные данные берутся со страниц в интернете. Когда маркетолог или владелец магазина говорит «спарсить», он почти всегда имеет в виду именно это: собрать с чужого или своего сайта цены, товары, контакты компаний и получить таблицу.

В маркетинге словом «парсинг» иногда называют и сбор аудитории в соцсетях. Это отдельная тема со своими правовыми ограничениями, потому что речь идёт о людях, а не о товарах. Подробнее о значениях слова написано в статье о том, что значит парсить.

Из каких шагов состоит парсинг сайта

Любой сбор данных, от простого до сложного, проходит одни и те же этапы:

  • определение источника: какие страницы нужны и как до них добраться;
  • получение страницы: программа запрашивает адрес так же, как браузер, и получает HTML или данные в JSON;
  • извлечение: из страницы вырезаются нужные места, например блок с ценой;
  • очистка: лишние пробелы и символы убираются, цена становится числом, дубли отбрасываются;
  • выгрузка: записи сохраняются в файл или передаются в магазин, базу, таблицу.

Больше всего времени уходит на извлечение и очистку. Программа ищет элемент по его «адресу» в разметке, например по названию класса, поэтому после смены дизайна сайта правила приходится обновлять. А цена на странице выглядит как «от 12 500 за штуку», хотя в таблицу нужно записать число 12500. Размеры написаны то через x, то через звёздочку, бренды то с большой буквы, то капсом. Без приведения к единому виду таблицей невозможно пользоваться.

Ещё одна ловушка это дубли. Один и тот же товар может лежать в нескольких разделах каталога и попасть в файл дважды, поэтому записи сравнивают по артикулу или адресу. Каждый шаг полезно проверять глазами: сверить пять-десять записей с оригиналом быстрее, чем искать ошибку в готовом файле на двадцать тысяч строк.

Где применяют парсинг и где его границы

Чаще всего парсинг нужен интернет-магазинам и маркетологам. Магазин забирает у поставщика каталог с описаниями и остатками. Маркетолог выгружает цены конкурентов, чтобы увидеть, где его предложение дороже рынка. Отдел продаж собирает список компаний нужной отрасли с адресами и сайтами. Агентство недвижимости следит за новыми объявлениями в своём районе.

Задачи делятся на разовые и регулярные. Разовый парсинг даёт картину на сегодня: один раз наполнить магазин или составить базу. Автоматический парсер запускается по расписанию и показывает динамику: кто снизил цены, какие позиции пропали из наличия. Такой парсер должен сообщать о сбоях, иначе после смены вёрстки он молча запишет пустые ячейки.

Парсинг не взламывает сайт: он берёт только то, что видит любой посетитель. Закрытые разделы, личные кабинеты и персональные данные людей это отдельный разговор с правовыми ограничениями. Фото и тексты охраняются авторским правом, поэтому для магазина важно разрешение поставщика. Подробнее об этом в статье о законности парсинга.

Ошибка парсинга: что это значит

Ошибка парсинга означает, что программа получила данные, которые не смогла разобрать по своим правилам. Файл оборван на середине, в JSON пропущена скобка, формат не тот, что ожидался. Сообщение «не удалось провести парсинг» значит то же самое: на входе оказалось не то, что программа умеет читать. К сбору данных с сайтов такая ошибка обычно не относится.

На компьютере она встречается, например, при открытии CSV в таблице: если разделитель или кодировка не те, программа не может разложить строки по столбцам и выдаёт ошибку или кашу из символов. Обычно помогает открыть файл через импорт и явно указать разделитель и кодировку.

Чаще всего с ней сталкиваются владельцы телефонов на Android при установке приложения из файла APK. Система пишет «Синтаксическая ошибка» или «Ошибка при синтаксическом анализе пакета». Это значит, что Android не смог прочитать содержимое установочного файла. Обычные причины и что можно сделать:

  • файл скачался не полностью или повреждён: скачайте его заново из официального источника, лучше из магазина приложений или с сайта разработчика;
  • приложению нужна более новая версия Android: проверьте требования в описании и версию системы в настройках телефона;
  • это не обычный APK, а набор файлов вроде XAPK или APKS: стандартный установщик его не открывает, поищите обычную версию или установите приложение из магазина;
  • на телефоне мало свободного места: освободите память и повторите установку.

Если ни один шаг не помог, скорее всего, файл не подходит для вашего телефона. Не устанавливайте приложения из случайных источников: изменённый APK может оказаться опасным.

Если вы пришли за парсингом сайтов, а не за ошибкой на телефоне, и не хотите разбираться в программах, сбор можно заказать. Пришлите ссылку на источник и список полей: посмотрю, какие данные доступны, и предложу формат результата.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Нужно ли уметь программировать, чтобы воспользоваться парсингом?

Нет. Можно взять готовую программу или онлайн-сервис с настройкой через интерфейс, а можно заказать сбор под свой сайт. Во втором случае достаточно показать пример нужной страницы и перечислить поля, которые хочется получить в таблице.

Чем парсинг отличается от API?

API это официальный канал, который сайт сам предоставляет для обмена данными. Парсинг забирает данные со страниц, которые видит посетитель. Если у сервиса есть подходящий API, его стоит проверить в первую очередь: он стабильнее и не ломается от смены дизайна.

Парсинг и веб-скрейпинг это одно и то же?

В русской практике почти да: оба слова означают сбор данных со страниц сайтов. Иногда скрейпингом называют весь процесс от загрузки страниц до сохранения, а парсингом только разбор содержимого. Разница описана в отдельной статье о веб-скрейпинге.

Парсинг сайта нагружает его?

Каждая загруженная страница это обычный запрос к сайту, как от посетителя. Если делать тысячи запросов в секунду, сайт начнёт тормозить, поэтому аккуратный парсер ходит с паузами и не собирает лишнего. Многие сайты сами ограничивают частоту обращений.

Почему парсер иногда собирает не всё?

Чаще всего он не дошёл до последней страницы каталога, не дождался подгрузки данных на JavaScript или не учёл варианты товара с другим размером и цветом. Таблица при этом выглядит полной, поэтому число записей полезно сверять с тем, что показывает сам сайт.

Написать в чат