Парсер Яндекс Карт и выгрузка организаций под вашу задачу

Парсер Яндекс Карт нужен, чтобы получить таблицу организаций: название, рубрика, адрес, сайт, рейтинг, график работы. Получить её можно тремя путями: купить или скачать программу, взять готовую базу или заказать выгрузку под задачу. Ниже честно сравниваю все три. Сам я делаю третье: собираю организации по вашим рубрикам и городам и отдаю файл.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2НазваниеСтоматология «Пример»
3РубрикаСтоматологическая клиника
4Адресг. Казань, ул. Примерная, 10
5РайонВахитовский
6Сайтexample-clinic.ru
7Рейтинг4,7
8Число оценок132
9График работыпн–пт 9:00–20:00
10Ссылка на карточкуyandex.ru/maps/org/…
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Программа, готовая база или выгрузка: три пути к одной таблице

Таблицу организаций с Яндекс Карт получают тремя способами, и у каждого своя цена ошибки. Разница в том, кто делит город на участки, чистит дубли и отвечает за свежесть данных.

  • Готовая программа. Её покупают с лицензией или скачивают в пробной версии, есть и онлайн-сервисы с личным кабинетом. Плюс: запускаете сами и сколько угодно раз. Минусы: изменения на сайте ломают сбор, бесплатные версии режут строки и поля, город нужно самому дробить на районы, а соблюдение правил площадки остаётся на вас.
  • Готовая база. Сервисы продают списки компаний по рубрике и городу, файл приходит сразу. Минусы: неясно, когда база собрана, рубрики крупные и не совпадают с вашей нишей, филиалы никто не склеивал, свои колонки не добавить. Перед покупкой просите образец и дату сбора.
  • Выгрузка под задачу. Это то, что делаю я: беру ваши рубрики, города и колонки, собираю свежие общедоступные сведения о компаниях, склеиваю дубли и отдаю файл с отчётом о полноте.

Если выгрузки нужны каждую неделю и в штате есть человек, готовый следить за программой, честнее купить программу. Если нужен один файл к завтрашнему дню и ниша широкая, хватит готовой базы. Выгрузка под задачу выигрывает там, где важны полнота по узкой нише и дата сбора.

Организации по рубрике и городу: как не потерять половину

Рубрики Карт не совпадают с привычными формулировками. Салон красоты, парикмахерская и ногтевая студия живут в разных рубриках, а одна компания может стоять сразу в нескольких. Пришлите список так, как называете его вы, а я подберу рубрики и поисковые фразы и согласую их с вами.

Кнопки «скачать всё» на Картах нет, а выдача по одному запросу ограничена. Поэтому крупный город делю на районы или сетку, иначе список обрывается раньше, чем заканчиваются организации. Территорию можно задать городом, районами или радиусом вокруг точки, например вокруг вашего склада.

К файлу прикладываю короткий отчёт: сколько компаний найдено по каждой рубрике и району, сколько дублей склеено, у скольких строк нет сайта. По этим цифрам сразу видно, не выпал ли целый район.

Какие поля беру и как чищу дубли

Набор ниже типичный. Лишнее убираю, нужное добавляю под задачу: отделу продаж важны сайт и контакты, маркетологу рейтинг и число оценок у конкурентов в районе.

  • название, рубрики, адрес с районом и координатами;
  • сайт и ссылки на соцсети, которые указала сама компания;
  • корпоративные телефон и почта, если они опубликованы в карточке;
  • рейтинг, число оценок и график работы;
  • ссылка на карточку, чтобы любую строку можно было проверить.

Сеть с филиалами, компания в нескольких рубриках и организация, сменившая адрес, дают повторы. Склеиваю их по сайту и адресу, а не по названию, и добавляю колонку с признаком сети. Закрытые организации отмечаю отдельно. Если у вас уже есть клиентская база, сверю её с выгрузкой и оставлю только новых: для этого хватит файла с названиями или сайтами.

Правила Яндекса и что не входит в выгрузку

Правила площадки ограничивают автоматическое массовое извлечение данных. Программный интерфейс поиска по организациям, насколько я знаю его условия, рассчитан на показ результатов в вашем сервисе, а не на накопление базы, поэтому как способ выгрузить базу его не предлагаю. Я собираю только общедоступные сведения о компаниях под конкретную задачу и до начала работы обсуждаю с вами ограничения: объём, частоту и назначение данных. Юридическую оценку проекта не даю, при сомнениях покажите задачу юристу.

Личные данные физических лиц не собираю: имена и профили авторов отзывов остаются за рамками. Рекламная рассылка по найденным адресам требует согласия получателя по 38-ФЗ.

Как проходит заказ

Вы пишете рубрики, города и зачем нужны данные. Сначала согласуем образец на небольшом числе строк, затем запускаю полный сбор и отдаю файл в Excel, CSV или другом удобном формате. Если база нужна регулярно, настрою автоматический парсер, который собирает рубрику заново и показывает разницу с прошлой версией: новые, закрытые и переехавшие организации.

Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Есть ли бесплатный парсер Яндекс Карт?

Есть пробные версии программ, онлайн-сервисы с бесплатным лимитом и скрипты в открытых репозиториях. Для пробы на одной рубрике их хватает. Скрипты часто перестают работать после изменений на сайте, а лимиты не дают собрать город целиком. Скачивая программу, проверяйте источник: незнакомый исполняемый файл на рабочем компьютере опаснее неполной базы.

Как проверить купленную программу или готовую базу?

Возьмите район, который хорошо знаете, и выпишите десяток организаций нужной рубрики. Затем найдите их в результате. Если половины нет, программа не дробит выдачу или база устарела. Заодно посмотрите, сколько повторов филиалов и у скольких строк пустой сайт.

Можно ли выгрузить сразу несколько городов?

Да. Города и рубрики перечисляете списком, итог собираю одной таблицей с колонкой города либо отдельными листами. Организации на границе соседних городов попадают в выдачу дважды, такие повторы убираю.

Как часто обновлять базу организаций?

Для холодных звонков и аналитики обычно хватает раза в квартал: владельцы правят карточки, компании переезжают и закрываются. Если следите за конкурентами или открытием новых точек, разумнее ежемесячный запуск со сравнением.

Можно ли добавить отзывы и фотографии?

Рейтинг и число оценок входят в обычную выгрузку. Тексты отзывов собираются отдельной задачей, о ней есть страница про отзывы с Яндекс Карт. Фото из карточек могу дать ссылками, но снимки охраняются авторским правом, и публиковать их у себя без разрешения нельзя.

Написать в чат