Сколько стоит парсинг сайта

Сколько стоит парсинг сайта, зависит не от числа страниц, а от состава работы: устройства источника, полей, объёма, формата и того, нужен ли регулярный запуск. Ниже разберу, какие бывают задачи по сложности и что влияет на оценку, а точную цену назову после того, как посмотрю ваш сайт.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2Источникexample-shop.ru
3Объём данных3 000 позиций
4Состав полейназвание, цена, наличие
5Тип работыразовый парсинг
6Частотаодин раз
7Формат результатаxlsx
8Особенности сайтаподгрузка на JavaScript
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Почему здесь нет прайса

Тысяча страниц на одном сайте и на другом требуют разного труда. Один каталог отдаёт всё в обычной разметке, и сбор настраивается быстро. В другом цена подгружается отдельным запросом, у товара пять вариантов размера, а фото лежат в трёх разных местах. Ставка за страницу или за товар в таком случае обманывает одну из сторон, поэтому сумм в рублях на сайте нет.

Простая, средняя и сложная задача

По составу работы задачи обычно попадают в один из трёх типов:

  • простая: один сайт с обычной разметкой, путь «список, затем карточка», несколько полей, разовая выгрузка в таблицу;
  • средняя: каталог с пагинацией и фильтрами, характеристики разной структуры, фото, файл под импорт вашей CMS или несколько похожих сайтов;
  • сложная: страницы на JavaScript, товары с вариантами, разнородные источники, сопоставление с вашим каталогом, автоматический запуск с уведомлениями.

Задача может сдвинуться в другой тип по ходу разговора. Например, разовая выгрузка становится сложной, если результат нужно сопоставить с вашими артикулами.

Что влияет на оценку

  • технология сайта: обычный HTML проще, сборка страницы в браузере сложнее;
  • ограничения частоты обращений, из-за которых сбор идёт медленнее;
  • число полей и их вложенность: варианты товара, таблицы характеристик, фото;
  • объём: от него зависит время сбора и сверки с сайтом;
  • формат: простая таблица или файл под импорт конкретной CMS;
  • очистка: удаление дублей, единые единицы измерения, сопоставление с вашими артикулами;
  • разовый сбор или работа по расписанию.

Как быстро называю цену

Для простой задачи стоимость обычно понятна, как только я открою пару страниц источника. Если сайт устроен сложно, сначала разбираюсь, как он отдаёт данные, и только потом называю цену, чтобы не пересматривать её в процессе. Обсуждение ни к чему не обязывает.

Ускоряют оценку ссылка на источник, список полей, примерный объём, нужная частота и пример строки из готовой таблицы. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.

Из чего складывается сопровождение

Разовый парсинг сдаётся готовым файлом, и на этом работа заканчивается. Автоматический парсер живёт дольше, и его нужно поддерживать: сайты меняют вёрстку, добавляют поля, переносят каталог.

В сопровождение входят проверка запусков и журналов, исправление парсера после изменений на сайте, добавление полей или новых источников по вашей просьбе и при необходимости перенос на другой сервер. Объём сопровождения и порядок обращений согласуем до запуска.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Цена считается за сайт, за страницу или за количество товаров?

За задачу целиком. Складываются устройство источника, объём, число полей, формат и частота запуска. Один сложный сайт может потребовать больше работы, чем несколько простых, поэтому единой ставки за страницу или товар нет.

Будет ли дешевле собрать несколько похожих сайтов сразу?

Если сайты работают на одной платформе или устроены похоже, часть логики сбора общая, и это учитывается в оценке. Разнородные источники требуют отдельной настройки под каждый, так что их объединение в один заказ мало что меняет.

Что выгоднее: подписка на сервис или парсер под задачу?

Сервисы берут оплату за подписку и объём, а разработку под задачу оценивают по трудоёмкости. Для одной выгрузки подписка может оказаться лишней, для ежедневного сбора с типовых сайтов удобной. Подскажу, что разумнее в вашем случае.

Сайт защищён от парсинга. Это сильно повлияет на цену?

Ограничения частоты обращений замедляют сбор, и это учитывается. Обход капчи и защиты от ботов я не делаю. Если данные закрыты, скажу об этом до начала работы и поищу официальный путь: API, выгрузку или фид.

Написать в чат