Парсер объявлений с досок на заказ

Парсер объявлений нужен, когда предложения разбросаны по нескольким доскам: Юла, городские сайты объявлений, отраслевые площадки по технике, оборудованию, стройматериалам. Соберу их в одну таблицу с заголовком, ценой, городом, датой и ссылкой и приведу к общему виду. Контакты частных лиц не собираю.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2ИсточникЮла
3ЗаголовокТокарный станок, б/у
4КатегорияОборудование / Станки
5Цена180 000
6ГородЕкатеринбург
7ОписаниеРабочий, самовывоз
8Дата публикации2026-02-18
9Тип продавцакомпания
10Ссылкаhttps://example.ru/ad/1
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Какие доски имею в виду

Юла из экосистемы VK с общими категориями, городские сайты объявлений и разделы купли-продажи на региональных порталах, отраслевые площадки: спецтехника, сельхозтехника, б/у оборудование для бизнеса, стройматериалы, животные. Если нужен OLX, собираю его версии в странах, где он работает, например в Казахстане.

Самые крупные темы вынесены на отдельные страницы: парсинг Авито, парсер недвижимости для Циан и других порталов, парсинг автообъявлений с Авто.ру и Дрома. Здесь речь о досках поменьше, где задача обычно в том, чтобы собрать несколько источников вместе.

Как свожу разные доски в одну таблицу

У небольших досок слабее структура: цена бывает только в тексте, дерево категорий своё, город записан как угодно. Категории сопоставляю через таблицу соответствий, которую согласуем. Цены привожу к числу с пометкой «договорная», «за штуку», «за тонну». Относительные даты вроде «вчера» пересчитываю в календарные на момент сбора.

  • заголовок, категория и цена с единицей измерения
  • город или район
  • полный текст описания и число фото
  • дата публикации и последнего обновления
  • тип продавца: компания или частное лицо, без контактов

Один продавец часто размещает объявление на нескольких досках. Повторы нахожу по заголовку, цене и близости текста и помечаю, а не удаляю молча.

Под какие задачи заказывают

Мониторинг редких позиций: новые объявления по ключевым словам с нескольких досок сразу, например нужное оборудование или запчасти к старой технике. Перепродажа: выборка объявлений ниже медианной цены по категории. Аналитика: средние цены на б/у технику по регионам и сезонность предложения.

Описание часто содержит то, чего нет в полях: состояние, комплектность, причину продажи. Текст сохраняю полностью, а устойчивые признаки при необходимости выношу в отдельные колонки.

Границы сбора и что прислать

Телефоны, имена и аккаунты частных продавцов не собираю: это персональные данные. Объявления от собственников собрать можно, их контакты нет. Если продавец компания и сама публикует корпоративный телефон или сайт, его можно взять. Для рекламной рассылки по таким контактам нужно согласие получателя по 38-ФЗ.

У небольших досок слабые серверы, поэтому собираю с паузами и не создаю нагрузку. Перед стартом смотрю правила площадки и проверку от роботов, обходить её не берусь.

Для старта хватит ссылок на доски или нужные разделы, регионов, ключевых слов и полей, а также ответа, как часто нужен отчёт о новых и снятых объявлениях.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Можно ли следить за новыми объявлениями сразу на нескольких досках?

Да. Парсер по расписанию обходит выбранные разделы, сравнивает с прошлым запуском и выдаёт только новые объявления по вашим ключевым словам. Отчёт приходит файлом или таблицей, у каждой строки есть источник и ссылка.

Почему у части объявлений нет цены?

Продавцы пишут «договорная», указывают цену в тексте или за единицу. Цену из текста извлекаю, где это однозначно, а остальное помечаю. Пустое значение лучше, чем неверное число, которое испортит среднюю цену по категории.

Можно ли собрать объявления, которые видны только после входа?

Нет. Собираю то, что доска показывает любому посетителю без регистрации. Разделы для зарегистрированных пользователей и данные из личных кабинетов в работу не беру, это уже чужая закрытая информация.

Написать в чат