Какие данные собираю
Чаще всего ко мне приходят с одной из этих задач:
- товары, цены и остатки интернет-магазинов, каталоги поставщиков;
- карточки организаций из карт и справочников: название, адрес, телефон компании, рубрика, рейтинг;
- объявления с публичных досок и их параметры;
- отзывы и оценки организаций и товаров;
- новости, статьи и публикации по теме;
- таблицы на страницах, реестры и документы в PDF.
Если нужного типа нет в списке, это не значит, что его нельзя собрать. Достаточно, чтобы данные были видны любому посетителю сайта без входа в личный кабинет.
Откуда и с какими подводными камнями
У каждого типа источника свои сложности. В интернет-магазинах это пагинация, фильтры и товары с вариантами, где размер или цвет меняет цену и картинку. Если сбор не дошёл до последней страницы, таблица выглядит полной, а на деле в ней пропуски, поэтому сверяю число записей с сайтом.
На картах и в справочниках данные подгружаются по мере прокрутки, а одна компания может стоять в нескольких рубриках. В реестрах и на сайтах закупок часть сведений лежит во вложенных PDF, их приходится разбирать отдельно. Многие современные сайты собирают страницу на JavaScript, и тогда я беру данные из запросов, которые страница делает сама, или работаю через браузер.
В каком виде отдаю данные
Формат выбираем под то, что вы будете делать с данными дальше. Для анализа удобен Excel, где цены лежат числами, а не текстом с пробелами и значком валюты. Для загрузки в магазин или 1С нужен CSV или XML с правильными колонками. Разработчикам удобнее JSON или дамп для базы. Если данные должны обновляться у всех сотрудников сразу, автоматический парсер может записывать их в Google Таблицу.
Перед отдачей чищу результат: убираю дубли, привожу даты к одному формату, телефоны компаний к одному написанию, единицы измерения к одной системе. При регулярном сборе парсер сравнивает новый запуск с прошлым и показывает только изменения или присылает обновлённый файл целиком.
Собрать самому в Excel или заказать
Для простых случаев можно обойтись без исполнителя. В Excel есть получение данных из интернета и Power Query, в Google Таблицах функции IMPORTHTML и IMPORTXML. Они хорошо берут статичную таблицу или список с одной страницы.
Формулы перестают справляться, когда список разбит на сотни страниц, данные подгружаются скриптом, а характеристики разложены по разным блокам карточки. Программы для парсинга данных решают часть таких задач, но их нужно настраивать под источник и перенастраивать после смены вёрстки. Заказ имеет смысл, когда вам нужен результат, а не новый инструмент для освоения.
Как проходит заказ
Смотрю источник и проверяю, нет ли официальной выгрузки, API или фида. Затем сначала согласуем образец на небольшом числе строк: по нему видно, те ли поля и в том ли виде. После этого запускаю полный сбор или настраиваю регулярный.
Собираю только общедоступные данные и данные компаний, персональные данные физических лиц не собираю. Если собранные корпоративные адреса пойдут в рекламную рассылку, на неё нужно согласие получателя по 38-ФЗ. Обход защиты от ботов не обещаю.
Для оценки пришлите ссылку на источник, список нужных полей и пример строки, как вы её видите в готовой таблице. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.