Что именно можно снять с выдачи
Выдача Яндекса состоит не только из десяти синих ссылок. Есть реклама Директа сверху и снизу, быстрые ответы, блоки с картой и организациями, товарные галереи, картинки и видео. Прежде чем собирать, мы с вами решаем, что из этого нужно. Для аналитика позиций обычно хватает органики. Для исследования конкурентов полезна ещё и реклама: какие объявления показываются по запросу и на какие страницы ведут.
Каждую строку файла можно привязать к запросу, региону, устройству и дате снятия. Это важно: одна и та же фраза в Москве, Казани и Новосибирске даёт разные результаты, а мобильная выдача отличается от десктопной.
- органические результаты: позиция, URL, домен, заголовок, сниппет
- рекламные объявления Директа: заголовок, текст, видимая ссылка
- блоки организаций и карт для локальных запросов
- быстрые ответы, видео и картинки: как отдельный тип результата
- подсказки и похожие запросы, если они нужны для расширения семантики
Подводные камни именно этой выдачи
Яндекс персонализирует результаты и сильно зависит от региона, поэтому сравнивать позиции из разных регионов в одной таблице без пометки нельзя. Я закладываю регион в сам запрос и фиксирую его в файле.
Вёрстка выдачи меняется, а при частых запросах с одного адреса сервис может показать проверку. Обходить такие проверки я не берусь. Перед началом смотрю, что доступно: у Яндекса есть официальный интерфейс для поисковых запросов, и если он закрывает задачу, работаю через него. Если вам нужны большие объёмы, обсудим именно такой путь, а не серую схему.
Для каких задач заказывают
Чаще всего это одна из четырёх задач. Первая: проверить, где стоит ваш сайт и сайты конкурентов по списку запросов, и повторять это раз в неделю. Вторая: найти, какие домены чаще всех встречаются в топе по теме, чтобы понять, с кем вы делите нишу. Третья: собрать сайты из выдачи под дальнейший парсинг, например каталоги поставщиков или компании региона. Четвёртая: посмотреть конкурентную рекламу по коммерческим запросам.
Если нужна именно частотность запросов, это отдельная работа с Вордстатом, а если цены конкурентов, то после выдачи идёт сбор с самих сайтов.
Ещё один сценарий: проверка того, как выглядит ваш сниппет. По таблице сразу видно страницы, у которых заголовок обрезается, описание подтягивается не из мета-тега или в выдаче показывается не та страница сайта. Такие находки обычно дают быстрый эффект без переписывания текстов.
Что не входит в сбор
Я собираю то, что видит любой пользователь поисковой системы. Закрытая статистика Яндекс Метрики и Вебмастера, данные чужих рекламных кабинетов и личные подборки пользователей мне недоступны, и обещать их я не стану. Позиции в выдаче по персональным настройкам конкретного человека тоже снять нельзя: фиксируется результат для заданного региона без истории пользователя.
Если вам важно точное совпадение с тем, что видит клиент в определённом городе, укажите город, и мы сверим несколько запросов вручную на старте.
Как проходит работа и что вы получите
Вы присылаете список запросов, регион и глубину: топ-10, топ-20 или больше. После тестового прогона на небольшой части запросов вы смотрите на таблицу и говорите, чего не хватает. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.
Результат отдаю в xlsx или csv, для передачи в другие программы подойдут json и xml. Если снятие нужно регулярно, настраиваю автоматический парсер, который складывает срезы по датам, чтобы вы видели динамику позиций.