Какие доски имею в виду
Юла из экосистемы VK с общими категориями, городские сайты объявлений и разделы купли-продажи на региональных порталах, отраслевые площадки: спецтехника, сельхозтехника, б/у оборудование для бизнеса, стройматериалы, животные. Если нужен OLX, собираю его версии в странах, где он работает, например в Казахстане.
Самые крупные темы вынесены на отдельные страницы: парсинг Авито, парсер недвижимости для Циан и других порталов, парсинг автообъявлений с Авто.ру и Дрома. Здесь речь о досках поменьше, где задача обычно в том, чтобы собрать несколько источников вместе.
Как свожу разные доски в одну таблицу
У небольших досок слабее структура: цена бывает только в тексте, дерево категорий своё, город записан как угодно. Категории сопоставляю через таблицу соответствий, которую согласуем. Цены привожу к числу с пометкой «договорная», «за штуку», «за тонну». Относительные даты вроде «вчера» пересчитываю в календарные на момент сбора.
- заголовок, категория и цена с единицей измерения
- город или район
- полный текст описания и число фото
- дата публикации и последнего обновления
- тип продавца: компания или частное лицо, без контактов
Один продавец часто размещает объявление на нескольких досках. Повторы нахожу по заголовку, цене и близости текста и помечаю, а не удаляю молча.
Под какие задачи заказывают
Мониторинг редких позиций: новые объявления по ключевым словам с нескольких досок сразу, например нужное оборудование или запчасти к старой технике. Перепродажа: выборка объявлений ниже медианной цены по категории. Аналитика: средние цены на б/у технику по регионам и сезонность предложения.
Описание часто содержит то, чего нет в полях: состояние, комплектность, причину продажи. Текст сохраняю полностью, а устойчивые признаки при необходимости выношу в отдельные колонки.
Границы сбора и что прислать
Телефоны, имена и аккаунты частных продавцов не собираю: это персональные данные. Объявления от собственников собрать можно, их контакты нет. Если продавец компания и сама публикует корпоративный телефон или сайт, его можно взять. Для рекламной рассылки по таким контактам нужно согласие получателя по 38-ФЗ.
У небольших досок слабые серверы, поэтому собираю с паузами и не создаю нагрузку. Перед стартом смотрю правила площадки и проверку от роботов, обходить её не берусь.
Для старта хватит ссылок на доски или нужные разделы, регионов, ключевых слов и полей, а также ответа, как часто нужен отчёт о новых и снятых объявлениях.