Два значения слова «онлайн-парсер»
Так называют два разных типа сервисов. Первый: небольшие веб-страницы, где вы вставляете текст или код и получаете разобранный результат. Так работают онлайн-разборщики HTML, XML, JSON и тестировщики регулярных выражений. Они нужны разработчикам и не собирают данные с сайтов.
Второй тип: облачный сервис для сбора данных. Вы вводите адрес, отмечаете нужные поля или загружаете настройки, сервис запускает сбор на своих серверах и сохраняет результат. Именно его обычно имеют в виду, когда говорят о сервисе парсинга.
Под похожими названиями работают и конкретные сервисы. Я с ними не связан и оценок не даю: возможности и условия у каждого свои, смотрите их на сайтах самих поставщиков.
Ещё одно значение: так называют расширения для браузера, которые добавляются в Chrome или аналог и собирают данные из открытой вкладки. Формально они работают на вашем компьютере, но настраиваются и управляются как онлайн-инструмент, поэтому в поиске их обычно смешивают с облачными.
Чем облачный сервис отличается от программы на компьютере
Главное отличие: где работает сбор. Программа на вашем ПК использует ваш компьютер и ваш интернет. Облачный сервис работает на серверах поставщика, поэтому компьютер можно выключить, а результат придёт позже.
Второе отличие: настройка. В облаке обычно есть визуальный редактор или готовые шаблоны для популярных площадок. Это ускоряет старт, но шаблоны ограничены теми сайтами, под которые их сделали.
Третье: условия использования. Лимиты на число страниц, задач и частоту запуска, формат хранения данных, срок доступа к результатам определяет поставщик, и они могут меняться. Поэтому перед выбором перечитайте актуальные условия.
Есть и скрытая разница в скорости и устойчивости. Облачный сервис использует свои адреса и серверы, и на его работу влияет репутация этих адресов у сайтов. Если площадка ограничивает массовый доступ, сервис может просто не получить страницы. Обходить такие ограничения я не предлагаю, а в своей работе проверяю доступность данных заранее.
Многие облачные сервисы умеют складывать результат прямо в Google Таблицу или отдавать его по ссылке в формате JSON. Это удобно, когда данные дальше подхватывает другая система: таблица для менеджеров, отчёт или сайт. Такую связку стоит проверить на пробном запуске.
Облако заметно экономит время на мелких регулярных задачах: например, утреннюю выгрузку цен с нескольких сайтов в таблицу. А вот разовая сложная выгрузка, где нужны нестандартные правила, обычно проще решается написанием программы под задачу.
Типы онлайн-инструментов
Чтобы не запутаться в названиях, полезно разделять инструменты по сути.
- Облачные сервисы сбора данных: настройка в браузере, запуск на серверах поставщика.
- Расширения для браузера: работают на вашем компьютере, но настраиваются в самой странице.
- Онлайн-разборщики HTML, JSON, XML: принимают ваш текст и показывают структуру. Для сбора данных не подходят.
- Функции таблиц, например в Google Таблицах: подтягивают данные простых страниц в ячейки.
- Сервисы под конкретную площадку: сбор объявлений, отзывов или карточек из одного источника.
Для себя можно быстро классифицировать любой инструмент одним вопросом: где выполняется сбор и кто за него отвечает. Если сбор идёт на вашем компьютере, отвечаете вы. Если в облаке, часть ответственности за техническую сторону несёт поставщик, но за законность сбора по-прежнему отвечает тот, кто его заказал.
Отдельно упомяну сервисы под одну площадку: например, сбор карточек организаций, объявлений или отзывов из конкретного источника. Они настроены заранее и просты в использовании, но выйти за рамки своего источника не могут. Для разовой широкой задачи они обычно слишком узкие, для регулярной узкой самые удобные.
Что проверить перед выбором сервиса
Посмотрите на сайты, которые вам нужны. Умеет ли сервис собирать динамические страницы, пагинацию, варианты товаров? Попросите пробный запуск или проверьте демо на своих страницах, прежде чем закладывать сервис в процесс.
Узнайте, где хранятся данные и кто имеет к ним доступ. Для коммерческих сведений вроде прайсов поставщиков это важно. Уточните формат выгрузки: xls, csv, json, нужен ли вам файл под импорт в вашу CMS.
Уточните и юридические вопросы. Сервис даёт инструмент, а ответственность за то, что и как вы собираете, остаётся на вас: правила площадки, авторское право, персональные данные. Облако не делает сбор чужих списков людей допустимым.
Проверьте, что будет при смене вёрстки. Некоторые сервисы обновляют готовые шаблоны сами, а в самостоятельно настроенных задачах правила придётся править вам.
Полезно сразу выяснить, что произойдёт при прекращении подписки или закрытии сервиса. Останутся ли у вас настройки и накопленные результаты, можно ли их выгрузить целиком? Если потеряете доступ вместе с настройками, придётся начинать заново.
Не забудьте про поддержку. Когда сбор остановился, важно, кто и за какое время разбирается: чат, почта, форум, ваш собственный администратор. Для рабочих процессов это иногда важнее, чем набор функций.
Практичный тест: попросите сервис собрать один и тот же набор страниц дважды с интервалом в несколько дней и сравните результаты. Это покажет, насколько стабильно он работает и как реагирует на небольшие изменения на сайте.
Когда онлайн-сервис неудобен и что делать
Облачные сервисы хороши для типовых задач с известными площадками. Если сайт нестандартный, данные лежат в сложных вариантах товара или нужна загрузка в магазин прямо в нужной структуре, шаблоны упираются в свои пределы.
Тогда разумнее заказать парсер под задачу. Я делаю разовые и автоматические выгрузки, работаю с динамическими страницами, пагинацией и сложными товарами, а при необходимости готовлю файл под импорт в вашу CMS.
Если вы только присматриваетесь к вариантам, начните с небольшого теста на своих страницах: три-пять самых сложных карточек. Если сервис с ними не справился, пришлите ссылки на эти страницы, перечень полей и нужную частоту выгрузки.