Парсинг объявлений о продаже автомобилей с Авто.ру и Дрома

Соберу объявления о продаже автомобилей с Авто.ру, Дрома и сайтов дилеров по вашим маркам и регионам: модель, поколение, год, пробег, двигатель, цена, город, тип продавца. Таблица подойдёт автосалону, перекупщику и оценщику, чтобы сравнить свои цены с рынком. Данные автосалонов беру, телефоны частных продавцов нет.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2ИсточникДром
3Марка и модельМарка X Модель Y
4Поколение, годII рестайлинг, 2019
5Пробег, км74 000
6Двигатель и КПП2.0 л, бензин, автомат
7Цена1 450 000
8ГородНовосибирск
9Продавецавтосалон
10Дней в продаже23
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Авто.ру: структурированные карточки

На Авто.ру характеристики автомобиля заполнены полями: поколение, комплектация, двигатель, привод, цвет, число владельцев по ПТС, состояние. Поэтому из карточки получается чистая таблица без разбора свободного текста. Если карточка показывает дополнительные отметки, например о проверке истории автомобиля, они идут в отдельную колонку и по ним можно фильтровать.

Фильтры задаём на старте: бюджет, год, пробег, тип кузова. Тогда в таблицу попадает только нужное. При повторных запусках парсер хранит историю каждого объявления, и видно, сколько дней машина продаётся и как менялась её цена.

Дром: регионы, разделы и объявления-приманки

Дром исторически силён в Сибири и на Дальнем Востоке, и цена одной модели в разных городах заметно отличается. Города лучше брать списком и сравнивать отдельной колонкой.

Автомобили, запчасти, мотоциклы и спецтехника лежат на Дроме в разных разделах со своим набором полей, поэтому колонки собираю под каждый раздел отдельно. При заказе уточните, что именно нужно.

Встречаются объявления с заведомо заниженной ценой, которые служат приманкой. Добавляю фильтр по разумным границам цены для модели и года, а исключённые строки кладу на отдельный лист, чтобы вы видели, что убрано.

Как свожу площадки в одну таблицу

Одну машину часто выставляют сразу на нескольких площадках. В сводной таблице есть колонка источника, а дубли определяю по VIN или госномеру, если они открыты, иначе по характеристикам, пробегу и фото. Пробег записываю числом, цену без пробелов, названия комплектаций привожу к одному написанию.

Важные признаки вроде «не крашена» или «один хозяин» у частных продавцов спрятаны в описании. Выделяю их по словам, но точность у таких колонок ниже, чем у полей карточки. Цены, которые на деле означают аренду или рассрочку, помечаю, чтобы они не портили медиану.

  • марка, модель, поколение, год, кузов
  • пробег, число владельцев, состояние со слов продавца
  • двигатель, коробка, привод, комплектация
  • тип продавца: автосалон, дилер или частное лицо
  • дата публикации, дни в продаже, история цены

Что в выгрузку не попадает

Телефоны, имена и профили частных продавцов не собираю, как и историю их объявлений: это персональные данные. У автосалонов и дилеров можно взять название и корпоративный телефон, который они опубликовали сами. Фото принадлежат авторам объявлений, в таблице остаются ссылки на них.

Каталоги запчастей и автотоваров решаются как обычный парсинг интернет-магазина. Автомобили на Авито разобраны на странице про парсинг Авито, там свои особенности.

Регулярный сбор и что прислать для оценки

Для ходовых моделей обычно хватает сбора раз в сутки, для редких раз в неделю. Регулярный парсер сравнивает цену с медианой по модели, году и пробегу и отмечает объявления заметно ниже рынка.

Пришлите марки и поколения, регионы, площадки, нужные поля и частоту обновления. Сначала согласуем образец на небольшом числе строк, затем запущу полный сбор.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Можно ли сравнить цены Дрома и Авто.ру по одной модели?

Да. Обе площадки собираются в одну таблицу с колонкой источника, дубли между ними помечаются. Сравнение честнее вести по медиане внутри одинаковых поколения, года и диапазона пробега: автосалоны и частники распределены по площадкам неравномерно.

Подходит ли выгрузка для оценки машины перед выкупом?

Да, по аналогам с той же моделью, поколением, годом и пробегом получается медиана и разброс цен. Это основа для оценки, но итоговая цена зависит от состояния конкретного автомобиля, которое объявление передаёт неточно.

Можно ли получать выгрузку сразу в 1С или CRM?

Да, подготовлю файл в CSV, XML или JSON со структурой колонок под вашу систему: справочник моделей, цены, ссылки. Если выгрузка регулярная, файл будет лежать по постоянной ссылке или приходить на почту после каждого запуска.

Можно ли собрать только объявления автосалонов?

Да, тип продавца идёт отдельной колонкой, и фильтр по нему ставится сразу при сборе. Для автосалонов в таблицу можно добавить название компании и число её объявлений по маркам.

Написать в чат