Парсинг сайтов на заказ
Парсинг сайтов на заказ: соберу товары, цены, каталоги и данные компаний с открытых страниц, которые видит любой посетитель, и передам в Excel, CSV, XML или в файл под импорт вашего магазина. Подходят и сложные сайты: страницы на JavaScript, пагинация, товары с вариантами. Если данные закрыты, скажу об этом до начала работы.
| A | B | |
|---|---|---|
| 1 | Столбец | Значение |
| 2 | Название | Смеситель для кухни |
| 3 | Артикул | A-1042 |
| 4 | Цена | 4 390 ₽ |
| 5 | Наличие | в наличии |
| 6 | Цвет, размер | хром / 35 см |
| 7 | Фото | a-1042_01.jpg |
Откуда собираю данные
Какие задачи решаю
Как я собираю данные с сайта
Парсинг это когда программа проходит по страницам и записывает нужные поля в таблицу вместо ручного копирования, подробнее об этом в статье «Что такое парсинг». Сам сбор у меня идёт так:
- изучаю структуру сайта: пагинацию, фильтры, подгрузку данных;
- ищу официальный путь: API, выгрузку, партнёрский фид;
- сначала согласуем образец на небольшом числе строк;
- сверяю результат с сайтом: число записей и значения полей;
- запускаю полный сбор, чищу дубли и привожу значения к единому виду.
Сверка нужна потому, что ошибки парсинга обычно не видны сразу. Если сбор не дошёл до последней страницы каталога или потерял вариант товара с другим размером, таблица выглядит полной, а на деле в ней дыры.
Что можно собрать, а что нет
Спарсить можно не любой сайт. Беру то, что открыто любому посетителю без входа: товары, цены, характеристики и фото, каталоги поставщиков, объявления, отзывы, карточки организаций с корпоративными контактами.
Персональные данные физических лиц не собираю. Обход капчи и защиты от ботов не делаю: если данные закрыты или правила площадки запрещают сбор, скажу об этом после проверки и предложу другой путь. Нагрузку на источник держу умеренной, чтобы не мешать работе сайта.
Варианты работы
Обычно по задаче сразу понятно, какой вариант нужен:
- разовый парсинг: один сбор и файл на выходе;
- автоматический парсер: данные по расписанию приходят с сайта или из файла поставщика;
- мониторинг цен: сравнение вашего прайса с конкурентами по датам, контроль РРЦ;
- сбор контактов компаний: только опубликованные самими организациями.
Автоматический парсер приходится подстраивать, когда источник меняет вёрстку, поэтому условия поддержки согласуем до запуска. Нужна сама программа с кодом, чтобы запускать у себя? Её тоже можно заказать.
Загрузка товаров в магазин
Работаю с OpenCart, Simpla CMS, Webasyst, ShopCMS, CS-Cart, PrestaShop, WordPress, DLE и 1С-Битрикс. По умолчанию готовлю файл под импорт вашей CMS, загрузить сам могу по временному доступу, лучше на копии сайта. Товары с вариантами, где у размера или цвета своя цена и картинка, раскладываю так, как требует система импорта.
Фото и тексты чужих сайтов охраняются авторским правом. Для наполнения магазина лучше брать данные своего поставщика или материалы, на которые у вас есть права.
Работа напрямую с разработчиком
Я частный разработчик и работаю один. Вы пишете тому, кто будет писать код, без менеджеров и пересказа задачи, поэтому правки вносятся быстро. Обратная сторона: загрузка зависит от одного человека, и сроки я называю с учётом этого.
Для оценки пришлите ссылку на источник, список нужных полей и скажите, нужен сбор один раз или регулярно.
Примеры работ


Как проходит работа
Вы пишете задачу в чат
Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.
Обсуждаем в режиме диалога
Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.
Вы получаете результат
Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.
Частые вопросы
Сколько стоит парсинг сайта?
Цена зависит от устройства источника, объёма, числа полей и того, нужен разовый файл или регулярное обновление. Прайса в рублях на сайте нет: один и тот же объём на разных сайтах требует разной работы. Стоимость назову после того, как посмотрю ваш источник.
Сколько времени занимает заказ?
Разовая задача в среднем занимает около 18 часов. Срок конкретного заказа называю после просмотра источника: на него влияют объём, устройство сайта и то, нужна ли загрузка в магазин.
Вы собираете персональные данные?
Нет. Работаю с общедоступной информацией о товарах, ценах и компаниях. Списки людей, личные телефоны и подписчиков не собираю. Если корпоративные адреса пойдут в рекламную рассылку, на неё нужно согласие получателя по 38-ФЗ.
Законно ли парсить чужие сайты?
Сбор общедоступной информации допустим, если соблюдаются правила площадки, авторские права и закон о персональных данных. Перед началом проверяю правила источника. Подробный разбор есть в статье о законности парсинга.
Можно ли получить сам парсер, а не только файл?
Да. Могу настроить автоматический парсер, который работает по расписанию, или передать программу с исходным кодом и инструкцией по запуску на вашем сервере. Что выбрать, зависит от того, кто будет поддерживать сбор после смены вёрстки.