Кому нужна выгрузка и под какую задачу
Агентство недвижимости берёт предложения района, чтобы быстро оценить квартиру клиента по аналогам и следить за конкурентами на своей территории. Оценщик собирает аналоги для отчёта. Застройщик сравнивает цену квадратного метра в своём и соседних проектах. Инвестор ищет квартиры дешевле рынка и смотрит, сколько дней объявление висит до снятия.
До старта стоит выбрать сегмент: вторичка, новостройки, аренда, коммерческая или загородная недвижимость. У каждого свой набор полей. В аренде важны залог, срок и условия, у загородных домов участок и коммуникации, у новостроек очередь, корпус и срок сдачи. Колонки настраиваю под сегмент, а смешанные выборки раскладываю по разным листам.
Циан как источник: что важно знать
Циан чаще всего становится основным источником: объявлений много, характеристики в карточке заполнены полями, а не только текстом. Структура зависит от типа сделки, поэтому продажу и аренду собираю раздельно.
Одну квартиру публикуют несколько агентств с разной ценой и разными фото. Повторы склеиваю по адресу, площади, этажу и цене с допуском, а где уверенности нет, оставляю признак вероятного дубля. Иначе аналитика получает завышенную долю популярных домов.
Выдача по поиску ограничена числом страниц, поэтому большой город дроблю на районы, диапазоны цены и число комнат. Готовые скрипты для Циан на GitHub есть, но они быстро перестают работать после смены вёрстки, и для регулярной выгрузки их приходится поддерживать.
Другие порталы и сайты застройщиков
Для полного среза рынка к Циан добавляю раздел недвижимости Авито (о нём есть отдельная страница про парсинг Авито), региональные порталы и сайты застройщиков. Всё сводится в одну таблицу с колонкой источника, а пересечения между площадками помечаются.
- тип сделки и объекта, район, адрес
- цена и цена за квадратный метр
- площадь общая, жилая и кухни, этаж и этажность
- материал и год дома, срок сдачи для новостроек
- дата публикации, дата снятия, признак дубля
Сайты застройщиков дают данные чище, чем частные объявления: планировки, цены по корпусам, статус квартиры. Зато у каждого свой формат, часто шахматка на JavaScript. Адрес на порталах иногда скрыт до улицы без номера дома: сохраняю то, что показано, а геокодирование делаю отдельным шагом. Цена бывает указана без комиссии или с ипотечной скидкой, это выношу в примечание.
Объявления от собственников: что соберу, а что нет
Объявления, которые площадка помечает как размещённые собственником, собрать можно: цена, площадь, адрес, параметры дома и пометка в отдельной колонке. Так видно, чем цены собственников отличаются от агентских. Телефоны, имена и профили частных собственников не собираю, даже если они открыты в объявлении: это персональные данные. Базу собственников для обзвона я не делаю.
У агентств и застройщиков беру название, ссылку на профиль и корпоративный контакт, если компания опубликовала его сама. Фото и тексты объявлений охраняются правами авторов, поэтому для аналитики оставляю ссылки, а не копии снимков.
Мониторинг цен и что прислать для оценки
Динамику видно только по повторным сборам. Парсер по расписанию хранит историю цены каждого объявления и даёт отчёт: новые объекты, снятые, снижение цены. Выгрузки по датам показывают, как менялась цена метра в доме или районе за квартал.
Для оценки пришлите ссылку на поиск Циан с вашими фильтрами или опишите регион, тип сделки и объекты, другие нужные площадки, список полей и как часто обновлять таблицу.