Парсинг товаров с сайта и выгрузка каталога

Парсинг товаров с сайта: соберу карточки с нужного магазина или сайта поставщика и отдам таблицу, где у каждого товара своя строка, а цена, наличие, характеристики, варианты и фото разложены по столбцам. Можно по списку ссылок, по отдельным разделам или весь каталог целиком с сохранением дерева категорий.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2КатегорияСмесители / Для кухни
3НазваниеСмеситель Модель 12
4АртикулM12-CR
5Цена4 990
6Наличиев наличии
7ВариантЦвет: хром
8ХарактеристикиМатериал: латунь
9Фотоhttps://example.ru/img/m12_1.jpg
10Ссылкаhttps://example.ru/p/m12
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Товары по списку ссылок или по разделам

Самый простой случай: вы присылаете адреса карточек, и я собираю с каждой нужные поля. Если ссылок нет, прохожу по выбранным разделам и нахожу товары сам. Так удобно проверить ассортимент поставщика, собрать позиции под одну категорию своего магазина или получить таблицу для сравнения.

Характеристики на одном сайте часто названы по-разному: «Материал», «Состав», «Из чего сделано». Привожу их к единым столбцам, чтобы таблицу можно было фильтровать, а потом построить по ней фильтры в магазине. Заранее разбираю и спорные места:

  • основная и старая цена в одном блоке: развожу по разным столбцам;
  • цена на странице и в корзине различается: выбираем, какая нужна;
  • «нет в наличии» и «ожидается» сохраняю как разные статусы;
  • товар снят с продажи, а ссылка жива: помечаю строку, а не удаляю молча.

Каталог целиком: дерево категорий, пагинация, варианты

Когда нужен весь магазин, задача шире, чем список позиций. Сначала смотрю устройство сайта: глубину дерева категорий, тип пагинации (страницы по номерам, кнопка «показать ещё» или бесконечная прокрутка), фильтры, которые создают отдельные адреса с теми же товарами. Многие магазины подгружают список скриптом при прокрутке и прячут остатки в отдельных запросах, а с динамическими страницами на JavaScript я работаю.

Товары с вариантами разворачиваю так, чтобы у каждого размера, цвета или комплектации были своя цена, остаток и картинка. Если собрать только «цену от», в таблицу попадёт не то.

Дубли появляются из-за фильтров и сортировок, а ещё потому, что один товар лежит в нескольких категориях. Собираю по уникальному идентификатору и сверяю итог со счётчиком на сайте и с картой сайта. Если сайт показывает 1200 позиций, а в таблице 1190, ищу недостающие, а не отдаю неполный файл. Иерархию храню в нескольких столбцах: раздел, подраздел, группа.

Выгрузка товаров в файл и форматы

Выгрузка товаров это итоговый файл, ради которого всё затевается. Для работы руками подойдут xlsx и csv с правильной кодировкой и разделителями, для маркетплейсов и сервисов xml или yml, для разработчиков json, для прямой загрузки в базу sql.

По умолчанию готовлю файл под импорт вашей CMS. В одних системах категории передаются путём «Раздел / Подраздел», в других идентификаторами; атрибуты где-то лежат в столбцах, где-то в отдельной таблице. Загрузить сам могу по временному доступу, лучше на копии сайта. Такие загрузки делал в 1С-Битрикс, OpenCart 2 и 3 и PrestaShop.

Иногда выгрузить нужно свой же старый сайт: доступа к базе нет или CMS самописная. Это тот же парсинг. Читаю страницы так, как их видит посетитель, и настраиваю соответствие полей для новой платформы, чтобы при переезде ничего не потерялось.

Магазин-источник: поставщик, конкурент или свой сайт

Прежде чем парсить, проверяю, нет ли официального пути. Многие поставщики отдают партнёрам прайс или фид, у своего сайта есть экспорт в админке. Это дешевле и стабильнее, а парсинг страниц нужен там, где файла нет.

От источника зависит, что можно делать с результатом. Данные поставщика, с которым есть договорённость, подходят для наполнения магазина. Каталог конкурента годится для анализа ассортимента, но его описания и фото охраняются авторским правом, выкладывать их у себя нельзя. Артикулы и технические параметры такой защиты не имеют.

Если товары нужно не один раз собрать, а регулярно обновлять цены и остатки, настрою автоматический парсер по расписанию. Для оценки пришлите ссылку на сайт или пример карточки, список нужных полей, примерное число товаров и вид результата: таблица или файл под импорт конкретной CMS.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

От чего зависит стоимость парсинга товаров?

От числа товаров и разделов, от того, есть ли у карточек варианты, подгружаются ли данные скриптом, нужны ли фото файлами и готовый файл под импорт. Разовый сбор и регулярное обновление тоже считаются по-разному. Оценку дам после просмотра сайта и примера нужных полей.

Как выгрузить каталог товаров с сайта на Битриксе?

Если у вас есть доступ в админку, сначала стоит попробовать штатный экспорт каталога: он отдаёт данные без парсинга. Если доступа нет или нужен чужой сайт на Битриксе, соберу публичные страницы и приведу файл к нужной структуре, с разделами и свойствами в отдельных столбцах.

Остатки будут в цифрах или только «в наличии»?

Если число остатков видно на странице или приходит в её запросах, соберу цифры. Многие магазины показывают только «в наличии» или «мало», тогда в таблице будет статус как на сайте. Что доступно на конкретном сайте, смотрю до оценки, чтобы вы не ждали данных, которых там нет.

Можно ли скачать фото товаров файлами, а не ссылками?

Да. Сохраняю снимки файлами с именами по артикулу и раскладываю по папкам, а в таблице оставляю имена файлов в том порядке, в каком фото идут на сайте. Если снимков много, заранее обсуждаем размер и способ передачи. Подробнее о картинках рассказано на странице про парсинг изображений.

Как часто можно обновлять собранный каталог?

Хоть каждый день, если источник выдерживает такую частоту. Для обновления обычно не нужен полный проход: достаточно пройти по известным ссылкам и забрать цену и наличие, а новые товары искать реже. Расписание подбираем под то, как часто меняется ассортимент.

Написать в чат