Программа, готовая база или выгрузка: три пути к одной таблице
Таблицу организаций с Яндекс Карт получают тремя способами, и у каждого своя цена ошибки. Разница в том, кто делит город на участки, чистит дубли и отвечает за свежесть данных.
- Готовая программа. Её покупают с лицензией или скачивают в пробной версии, есть и онлайн-сервисы с личным кабинетом. Плюс: запускаете сами и сколько угодно раз. Минусы: изменения на сайте ломают сбор, бесплатные версии режут строки и поля, город нужно самому дробить на районы, а соблюдение правил площадки остаётся на вас.
- Готовая база. Сервисы продают списки компаний по рубрике и городу, файл приходит сразу. Минусы: неясно, когда база собрана, рубрики крупные и не совпадают с вашей нишей, филиалы никто не склеивал, свои колонки не добавить. Перед покупкой просите образец и дату сбора.
- Выгрузка под задачу. Это то, что делаю я: беру ваши рубрики, города и колонки, собираю свежие общедоступные сведения о компаниях, склеиваю дубли и отдаю файл с отчётом о полноте.
Если выгрузки нужны каждую неделю и в штате есть человек, готовый следить за программой, честнее купить программу. Если нужен один файл к завтрашнему дню и ниша широкая, хватит готовой базы. Выгрузка под задачу выигрывает там, где важны полнота по узкой нише и дата сбора.
Организации по рубрике и городу: как не потерять половину
Рубрики Карт не совпадают с привычными формулировками. Салон красоты, парикмахерская и ногтевая студия живут в разных рубриках, а одна компания может стоять сразу в нескольких. Пришлите список так, как называете его вы, а я подберу рубрики и поисковые фразы и согласую их с вами.
Кнопки «скачать всё» на Картах нет, а выдача по одному запросу ограничена. Поэтому крупный город делю на районы или сетку, иначе список обрывается раньше, чем заканчиваются организации. Территорию можно задать городом, районами или радиусом вокруг точки, например вокруг вашего склада.
К файлу прикладываю короткий отчёт: сколько компаний найдено по каждой рубрике и району, сколько дублей склеено, у скольких строк нет сайта. По этим цифрам сразу видно, не выпал ли целый район.
Какие поля беру и как чищу дубли
Набор ниже типичный. Лишнее убираю, нужное добавляю под задачу: отделу продаж важны сайт и контакты, маркетологу рейтинг и число оценок у конкурентов в районе.
- название, рубрики, адрес с районом и координатами;
- сайт и ссылки на соцсети, которые указала сама компания;
- корпоративные телефон и почта, если они опубликованы в карточке;
- рейтинг, число оценок и график работы;
- ссылка на карточку, чтобы любую строку можно было проверить.
Сеть с филиалами, компания в нескольких рубриках и организация, сменившая адрес, дают повторы. Склеиваю их по сайту и адресу, а не по названию, и добавляю колонку с признаком сети. Закрытые организации отмечаю отдельно. Если у вас уже есть клиентская база, сверю её с выгрузкой и оставлю только новых: для этого хватит файла с названиями или сайтами.
Правила Яндекса и что не входит в выгрузку
Правила площадки ограничивают автоматическое массовое извлечение данных. Программный интерфейс поиска по организациям, насколько я знаю его условия, рассчитан на показ результатов в вашем сервисе, а не на накопление базы, поэтому как способ выгрузить базу его не предлагаю. Я собираю только общедоступные сведения о компаниях под конкретную задачу и до начала работы обсуждаю с вами ограничения: объём, частоту и назначение данных. Юридическую оценку проекта не даю, при сомнениях покажите задачу юристу.
Личные данные физических лиц не собираю: имена и профили авторов отзывов остаются за рамками. Рекламная рассылка по найденным адресам требует согласия получателя по 38-ФЗ.
Как проходит заказ
Вы пишете рубрики, города и зачем нужны данные. Сначала согласуем образец на небольшом числе строк, затем запускаю полный сбор и отдаю файл в Excel, CSV или другом удобном формате. Если база нужна регулярно, настрою автоматический парсер, который собирает рубрику заново и показывает разницу с прошлой версией: новые, закрытые и переехавшие организации.
Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.