Когда хватает одного среза
Разовый сбор подходит, когда нужна картина на конкретный день: перед закупкой, при обновлении своего прайса, для коммерческого предложения или чтобы понять, во сколько обойдётся выход в новую категорию. Расписание, история и уведомления здесь не нужны.
Типичные задачи: сравнить прайсы двух-трёх поставщиков по одним и тем же артикулам, понять, в каком диапазоне продаётся категория товаров перед запуском своего магазина, собрать стоимость аналогов для расчёта наценки. Таблица фиксирует значения на дату сбора, поэтому в ней всегда есть столбец с датой.
Начните с разового сбора, если не уверены, что понадобится регулярность. Парсер останется написанным, и при необходимости запуск по расписанию добавляется быстро.
Какое число брать со страницы
На карточке обычно несколько значений стоимости: основное, до скидки, по карте покупателя, оптовое от количества, своё у каждого варианта товара. Часть видна сразу, часть подгружается скриптом. Если не договориться заранее, в файле окажется смесь, и сравнивать её бессмысленно.
Поэтому в начале прошу пример товара и показываю, что вижу на странице. Вы выбираете нужное, и каждое значение идёт в свой столбец. Отдельно уточняем город: во многих магазинах стоимость и наличие зависят от выбранного региона.
- основная и зачёркнутая стоимость в разных столбцах;
- оптовые ступени и варианты, если они есть;
- наличие, остаток или срок поставки как на странице;
- артикул, бренд и категория для последующего сравнения;
- ссылка на товар для ручной проверки.
Поставщик и конкурент: разные таблицы
У поставщика цель обычно в обновлении своего каталога: нужны точные артикулы, закупочная стоимость, остатки и соответствие вариантов, а дальше загрузка в магазин с вашей наценкой. Файл в этом случае готовлю под импорт вашей CMS.
У конкурента важнее понять, какую сумму видит покупатель, и привязать его позиции к вашим. Для разового сравнения сопоставляю по артикулу производителя или модели. Если артикулов нет, пары по названию и характеристикам отмечаю как спорные, чтобы вы проверили их сами. Фото и описания чужих карточек для своего сайта брать нельзя, они охраняются авторским правом.
Что бывает с данными и в каком виде вы их получите
Каталог с пагинацией и бесконечной прокруткой обхожу целиком, страницы на JavaScript обрабатываю. Если у сайта есть официальный прайс-лист, фид или API, беру данные оттуда: они чище, а нагрузка на сайт ниже.
Строки, где стоимости нет или вместо числа написано «по запросу», не прячу, а помечаю отдельно: так видно, где значения действительно нет. Результат отдаю в xlsx или csv, а если удобнее работать вместе с коллегами, кладу его в Google Таблицу.
Для оценки пришлите ссылки на сайты или разделы, пример нужного товара и пару слов о том, зачем нужны данные: закупка, свой прайс или сравнение с рынком.