Какие задачи решает сбор
Обычно таблица нужна для одной из трёх задач. Репутация: узнать, что пишут о вашей компании на картах и отзовиках, и вовремя заметить негатив. Сравнение: посмотреть, на что жалуются покупатели конкурентов, и сделать акцент на этом в своём предложении. Выбор товара: понять по сотням оценок, какие модели возвращают чаще, а какие хвалят за конкретные свойства.
Для каждой задачи набор полей свой. Для репутации важны дата и ответ владельца, для сравнения товара плюсы и минусы, если площадка их выделяет, для аналитики текст целиком, чтобы потом считать частоту слов и тем.
Что входит и что нет
Я собираю публичное содержимое: текст, оценку, дату, ответ организации, название объекта. Имя автора по умолчанию заменяю на условный номер или не включаю, для анализа оно не нужно. Профили авторов, их контакты и историю публикаций не собираю: это данные физических лиц.
Чужие тексты остаются контентом площадки и авторов. Для анализа таблицу использовать можно, а публиковать их у себя как свои нельзя.
- текст, оценка и дата
- плюсы, минусы и комментарий, если площадка их разделяет
- ответ продавца или организации и дата ответа
- число отметок «полезно»
- название товара или организации и ссылка на карточку
Подводные камни источников
Сервисы карт показывают записи порциями и сортируют по своему алгоритму, поэтому полный список нужно догружать, а порядок в файле не совпадает с хронологией. Маркетплейсы часто объединяют мнения обо всех вариантах товара: цвет или размер влияют на жалобы, и я сохраняю вариант в отдельном столбце. На отзовиках встречаются удалённые и отредактированные записи, поэтому дата сбора фиксируется.
Перед работой проверяю, что доступно публично, нет ли официального интерфейса, например API для владельцев организаций, и правила площадки. Обход защиты от автоматических запросов я не делаю.
Что дальше с таблицей
Готовый файл отдаю в xlsx или csv. По запросу делаю сводку: средняя оценка по месяцам, частые слова в негативе, доля записей с ответом. Для постоянного контроля можно настроить регулярный сбор и уведомление о новых оценках ниже заданной.
Для оценки пришлите ссылки на карточки товаров или организаций и укажите период: всё, что есть, или только последние месяцы.