Парсинг сайтов на заказ

Парсинг сайтов на заказ: соберу товары, цены, каталоги и данные компаний с открытых страниц, которые видит любой посетитель, и передам в Excel, CSV, XML или в файл под импорт вашего магазина. Подходят и сложные сайты: страницы на JavaScript, пагинация, товары с вариантами. Если данные закрыты, скажу об этом до начала работы.

Написать в чатРаботаю сам, отвечаю лично
katalog.xlsxусловный пример
AB
1СтолбецЗначение
2НазваниеСмеситель для кухни
3АртикулA-1042
4Цена4 390 ₽
5Наличиев наличии
6Цвет, размерхром / 35 см
7Фотоa-1042_01.jpg
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Как я собираю данные с сайта

Парсинг это когда программа проходит по страницам и записывает нужные поля в таблицу вместо ручного копирования, подробнее об этом в статье «Что такое парсинг». Сам сбор у меня идёт так:

  • изучаю структуру сайта: пагинацию, фильтры, подгрузку данных;
  • ищу официальный путь: API, выгрузку, партнёрский фид;
  • сначала согласуем образец на небольшом числе строк;
  • сверяю результат с сайтом: число записей и значения полей;
  • запускаю полный сбор, чищу дубли и привожу значения к единому виду.

Сверка нужна потому, что ошибки парсинга обычно не видны сразу. Если сбор не дошёл до последней страницы каталога или потерял вариант товара с другим размером, таблица выглядит полной, а на деле в ней дыры.

Что можно собрать, а что нет

Спарсить можно не любой сайт. Беру то, что открыто любому посетителю без входа: товары, цены, характеристики и фото, каталоги поставщиков, объявления, отзывы, карточки организаций с корпоративными контактами.

Персональные данные физических лиц не собираю. Обход капчи и защиты от ботов не делаю: если данные закрыты или правила площадки запрещают сбор, скажу об этом после проверки и предложу другой путь. Нагрузку на источник держу умеренной, чтобы не мешать работе сайта.

Варианты работы

Обычно по задаче сразу понятно, какой вариант нужен:

  • разовый парсинг: один сбор и файл на выходе;
  • автоматический парсер: данные по расписанию приходят с сайта или из файла поставщика;
  • мониторинг цен: сравнение вашего прайса с конкурентами по датам, контроль РРЦ;
  • сбор контактов компаний: только опубликованные самими организациями.

Автоматический парсер приходится подстраивать, когда источник меняет вёрстку, поэтому условия поддержки согласуем до запуска. Нужна сама программа с кодом, чтобы запускать у себя? Её тоже можно заказать.

Загрузка товаров в магазин

Работаю с OpenCart, Simpla CMS, Webasyst, ShopCMS, CS-Cart, PrestaShop, WordPress, DLE и 1С-Битрикс. По умолчанию готовлю файл под импорт вашей CMS, загрузить сам могу по временному доступу, лучше на копии сайта. Товары с вариантами, где у размера или цвета своя цена и картинка, раскладываю так, как требует система импорта.

Фото и тексты чужих сайтов охраняются авторским правом. Для наполнения магазина лучше брать данные своего поставщика или материалы, на которые у вас есть права.

Работа напрямую с разработчиком

Я частный разработчик и работаю один. Вы пишете тому, кто будет писать код, без менеджеров и пересказа задачи, поэтому правки вносятся быстро. Обратная сторона: загрузка зависит от одного человека, и сроки я называю с учётом этого.

Для оценки пришлите ссылку на источник, список нужных полей и скажите, нужен сбор один раз или регулярно.

Примеры работ

Парсинг товаров и загрузка в 1С-Битрикс
Парсинг товаров и загрузка в 1С-Битрикс
Парсинг товаров и загрузка в OpenCart 2 / 3
Парсинг товаров и загрузка в OpenCart 2 / 3

Все работы и отзывы

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Частые вопросы

Сколько стоит парсинг сайта?

Цена зависит от устройства источника, объёма, числа полей и того, нужен разовый файл или регулярное обновление. Прайса в рублях на сайте нет: один и тот же объём на разных сайтах требует разной работы. Стоимость назову после того, как посмотрю ваш источник.

Сколько времени занимает заказ?

Разовая задача в среднем занимает около 18 часов. Срок конкретного заказа называю после просмотра источника: на него влияют объём, устройство сайта и то, нужна ли загрузка в магазин.

Вы собираете персональные данные?

Нет. Работаю с общедоступной информацией о товарах, ценах и компаниях. Списки людей, личные телефоны и подписчиков не собираю. Если корпоративные адреса пойдут в рекламную рассылку, на неё нужно согласие получателя по 38-ФЗ.

Законно ли парсить чужие сайты?

Сбор общедоступной информации допустим, если соблюдаются правила площадки, авторские права и закон о персональных данных. Перед началом проверяю правила источника. Подробный разбор есть в статье о законности парсинга.

Можно ли получить сам парсер, а не только файл?

Да. Могу настроить автоматический парсер, который работает по расписанию, или передать программу с исходным кодом и инструкцией по запуску на вашем сервере. Что выбрать, зависит от того, кто будет поддерживать сбор после смены вёрстки.

Написать в чат