Товары по списку ссылок или по разделам
Самый простой случай: вы присылаете адреса карточек, и я собираю с каждой нужные поля. Если ссылок нет, прохожу по выбранным разделам и нахожу товары сам. Так удобно проверить ассортимент поставщика, собрать позиции под одну категорию своего магазина или получить таблицу для сравнения.
Характеристики на одном сайте часто названы по-разному: «Материал», «Состав», «Из чего сделано». Привожу их к единым столбцам, чтобы таблицу можно было фильтровать, а потом построить по ней фильтры в магазине. Заранее разбираю и спорные места:
- основная и старая цена в одном блоке: развожу по разным столбцам;
- цена на странице и в корзине различается: выбираем, какая нужна;
- «нет в наличии» и «ожидается» сохраняю как разные статусы;
- товар снят с продажи, а ссылка жива: помечаю строку, а не удаляю молча.
Каталог целиком: дерево категорий, пагинация, варианты
Когда нужен весь магазин, задача шире, чем список позиций. Сначала смотрю устройство сайта: глубину дерева категорий, тип пагинации (страницы по номерам, кнопка «показать ещё» или бесконечная прокрутка), фильтры, которые создают отдельные адреса с теми же товарами. Многие магазины подгружают список скриптом при прокрутке и прячут остатки в отдельных запросах, а с динамическими страницами на JavaScript я работаю.
Товары с вариантами разворачиваю так, чтобы у каждого размера, цвета или комплектации были своя цена, остаток и картинка. Если собрать только «цену от», в таблицу попадёт не то.
Дубли появляются из-за фильтров и сортировок, а ещё потому, что один товар лежит в нескольких категориях. Собираю по уникальному идентификатору и сверяю итог со счётчиком на сайте и с картой сайта. Если сайт показывает 1200 позиций, а в таблице 1190, ищу недостающие, а не отдаю неполный файл. Иерархию храню в нескольких столбцах: раздел, подраздел, группа.
Выгрузка товаров в файл и форматы
Выгрузка товаров это итоговый файл, ради которого всё затевается. Для работы руками подойдут xlsx и csv с правильной кодировкой и разделителями, для маркетплейсов и сервисов xml или yml, для разработчиков json, для прямой загрузки в базу sql.
По умолчанию готовлю файл под импорт вашей CMS. В одних системах категории передаются путём «Раздел / Подраздел», в других идентификаторами; атрибуты где-то лежат в столбцах, где-то в отдельной таблице. Загрузить сам могу по временному доступу, лучше на копии сайта. Такие загрузки делал в 1С-Битрикс, OpenCart 2 и 3 и PrestaShop.
Иногда выгрузить нужно свой же старый сайт: доступа к базе нет или CMS самописная. Это тот же парсинг. Читаю страницы так, как их видит посетитель, и настраиваю соответствие полей для новой платформы, чтобы при переезде ничего не потерялось.
Магазин-источник: поставщик, конкурент или свой сайт
Прежде чем парсить, проверяю, нет ли официального пути. Многие поставщики отдают партнёрам прайс или фид, у своего сайта есть экспорт в админке. Это дешевле и стабильнее, а парсинг страниц нужен там, где файла нет.
От источника зависит, что можно делать с результатом. Данные поставщика, с которым есть договорённость, подходят для наполнения магазина. Каталог конкурента годится для анализа ассортимента, но его описания и фото охраняются авторским правом, выкладывать их у себя нельзя. Артикулы и технические параметры такой защиты не имеют.
Если товары нужно не один раз собрать, а регулярно обновлять цены и остатки, настрою автоматический парсер по расписанию. Для оценки пришлите ссылку на сайт или пример карточки, список нужных полей, примерное число товаров и вид результата: таблица или файл под импорт конкретной CMS.