Авто.ру: структурированные карточки
На Авто.ру характеристики автомобиля заполнены полями: поколение, комплектация, двигатель, привод, цвет, число владельцев по ПТС, состояние. Поэтому из карточки получается чистая таблица без разбора свободного текста. Если карточка показывает дополнительные отметки, например о проверке истории автомобиля, они идут в отдельную колонку и по ним можно фильтровать.
Фильтры задаём на старте: бюджет, год, пробег, тип кузова. Тогда в таблицу попадает только нужное. При повторных запусках парсер хранит историю каждого объявления, и видно, сколько дней машина продаётся и как менялась её цена.
Дром: регионы, разделы и объявления-приманки
Дром исторически силён в Сибири и на Дальнем Востоке, и цена одной модели в разных городах заметно отличается. Города лучше брать списком и сравнивать отдельной колонкой.
Автомобили, запчасти, мотоциклы и спецтехника лежат на Дроме в разных разделах со своим набором полей, поэтому колонки собираю под каждый раздел отдельно. При заказе уточните, что именно нужно.
Встречаются объявления с заведомо заниженной ценой, которые служат приманкой. Добавляю фильтр по разумным границам цены для модели и года, а исключённые строки кладу на отдельный лист, чтобы вы видели, что убрано.
Как свожу площадки в одну таблицу
Одну машину часто выставляют сразу на нескольких площадках. В сводной таблице есть колонка источника, а дубли определяю по VIN или госномеру, если они открыты, иначе по характеристикам, пробегу и фото. Пробег записываю числом, цену без пробелов, названия комплектаций привожу к одному написанию.
Важные признаки вроде «не крашена» или «один хозяин» у частных продавцов спрятаны в описании. Выделяю их по словам, но точность у таких колонок ниже, чем у полей карточки. Цены, которые на деле означают аренду или рассрочку, помечаю, чтобы они не портили медиану.
- марка, модель, поколение, год, кузов
- пробег, число владельцев, состояние со слов продавца
- двигатель, коробка, привод, комплектация
- тип продавца: автосалон, дилер или частное лицо
- дата публикации, дни в продаже, история цены
Что в выгрузку не попадает
Телефоны, имена и профили частных продавцов не собираю, как и историю их объявлений: это персональные данные. У автосалонов и дилеров можно взять название и корпоративный телефон, который они опубликовали сами. Фото принадлежат авторам объявлений, в таблице остаются ссылки на них.
Каталоги запчастей и автотоваров решаются как обычный парсинг интернет-магазина. Автомобили на Авито разобраны на странице про парсинг Авито, там свои особенности.
Регулярный сбор и что прислать для оценки
Для ходовых моделей обычно хватает сбора раз в сутки, для редких раз в неделю. Регулярный парсер сравнивает цену с медианой по модели, году и пробегу и отмечает объявления заметно ниже рынка.
Пришлите марки и поколения, регионы, площадки, нужные поля и частоту обновления. Сначала согласуем образец на небольшом числе строк, затем запущу полный сбор.