Сбор данных с сайтов на заказ

Парсинг данных на заказ: соберу с сайтов товары, цены, карточки компаний, объявления или таблицы и отдам их в Excel, Google Таблице, JSON или базе. Перед отдачей убираю дубли и привожу значения к одному виду, чтобы файлом можно было сразу пользоваться. Собираю разово или по расписанию.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2Адрес страницыhttps://example.ru/item/15
3НазваниеНазвание записи
4Значение1250
5КатегорияРаздел 2
6ОписаниеКраткий текст со страницы
7Дата публикации2026-02-10
8Ссылка на фото или файлhttps://example.ru/f/15.jpg
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Какие данные собираю

Чаще всего ко мне приходят с одной из этих задач:

  • товары, цены и остатки интернет-магазинов, каталоги поставщиков;
  • карточки организаций из карт и справочников: название, адрес, телефон компании, рубрика, рейтинг;
  • объявления с публичных досок и их параметры;
  • отзывы и оценки организаций и товаров;
  • новости, статьи и публикации по теме;
  • таблицы на страницах, реестры и документы в PDF.

Если нужного типа нет в списке, это не значит, что его нельзя собрать. Достаточно, чтобы данные были видны любому посетителю сайта без входа в личный кабинет.

Откуда и с какими подводными камнями

У каждого типа источника свои сложности. В интернет-магазинах это пагинация, фильтры и товары с вариантами, где размер или цвет меняет цену и картинку. Если сбор не дошёл до последней страницы, таблица выглядит полной, а на деле в ней пропуски, поэтому сверяю число записей с сайтом.

На картах и в справочниках данные подгружаются по мере прокрутки, а одна компания может стоять в нескольких рубриках. В реестрах и на сайтах закупок часть сведений лежит во вложенных PDF, их приходится разбирать отдельно. Многие современные сайты собирают страницу на JavaScript, и тогда я беру данные из запросов, которые страница делает сама, или работаю через браузер.

В каком виде отдаю данные

Формат выбираем под то, что вы будете делать с данными дальше. Для анализа удобен Excel, где цены лежат числами, а не текстом с пробелами и значком валюты. Для загрузки в магазин или 1С нужен CSV или XML с правильными колонками. Разработчикам удобнее JSON или дамп для базы. Если данные должны обновляться у всех сотрудников сразу, автоматический парсер может записывать их в Google Таблицу.

Перед отдачей чищу результат: убираю дубли, привожу даты к одному формату, телефоны компаний к одному написанию, единицы измерения к одной системе. При регулярном сборе парсер сравнивает новый запуск с прошлым и показывает только изменения или присылает обновлённый файл целиком.

Собрать самому в Excel или заказать

Для простых случаев можно обойтись без исполнителя. В Excel есть получение данных из интернета и Power Query, в Google Таблицах функции IMPORTHTML и IMPORTXML. Они хорошо берут статичную таблицу или список с одной страницы.

Формулы перестают справляться, когда список разбит на сотни страниц, данные подгружаются скриптом, а характеристики разложены по разным блокам карточки. Программы для парсинга данных решают часть таких задач, но их нужно настраивать под источник и перенастраивать после смены вёрстки. Заказ имеет смысл, когда вам нужен результат, а не новый инструмент для освоения.

Как проходит заказ

Смотрю источник и проверяю, нет ли официальной выгрузки, API или фида. Затем сначала согласуем образец на небольшом числе строк: по нему видно, те ли поля и в том ли виде. После этого запускаю полный сбор или настраиваю регулярный.

Собираю только общедоступные данные и данные компаний, персональные данные физических лиц не собираю. Если собранные корпоративные адреса пойдут в рекламную рассылку, на неё нужно согласие получателя по 38-ФЗ. Обход защиты от ботов не обещаю.

Для оценки пришлите ссылку на источник, список нужных полей и пример строки, как вы её видите в готовой таблице. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Можно ли парсить данные с любых сайтов?

Не с любых. Сбор общедоступной информации допустим, если соблюдаются правила площадки, авторские права и закон о персональных данных. Данные за входом в личный кабинет или закрытые от автоматических запросов я не собираю и скажу об этом после проверки источника.

Можно ли сразу получать данные в Google Таблицу?

Да. Автоматический парсер может по расписанию дописывать или обновлять строки в вашей таблице, и все, у кого есть доступ, видят свежие данные. Для разовой задачи проще прислать файл, который вы загрузите в таблицу сами.

Вы собираете данные с карт и справочников?

Да, карточки организаций: название, адрес, рубрику, сайт, телефон компании, рейтинг. Отзывы собираю без привязки к личности автора. Для Яндекс Карт и 2ГИС на сайте есть отдельные страницы с подробностями.

Как часто можно обновлять собранные данные?

Как требует задача: раз в месяц для справочной базы, раз в день для цен конкурентов. Чем чаще запуск, тем аккуратнее нужно обращаться к источнику, поэтому частоту выбираем с учётом того, как быстро данные на сайте действительно меняются.

Подойдут ли данные для загрузки в мою программу?

Подготовлю файл под её формат импорта: нужные колонки, разделители, кодировку. Пришлите пример файла, который ваша программа уже принимает, и я сделаю выгрузку по нему.

Написать в чат