Откуда беру новости
Самый простой источник это RSS или Atom: в ленте уже лежат заголовок, дата и анонс, а парсить почти нечего. Но лента часто обрезает текст или отдаёт только последние записи, поэтому для полного архива я иду по страницам рубрик и самим статьям.
Если у сайта есть карта сайта sitemap.xml, она помогает найти старые материалы без перебора страниц. Для новостей на JavaScript, где лента подгружается при прокрутке, подключаю браузерный режим. Перед началом проверяю, какие данные доступны и что разрешает площадка.
Что можно вытащить из каждой новости
- заголовок, дату и время, рубрику и теги;
- имя автора, если оно указано в материале;
- анонс и полный текст без рекламных блоков и меню;
- главное изображение и подпись к нему;
- число просмотров и комментариев, если оно открыто на странице;
- ссылку на источник и канонический адрес.
Подводные камни
Даты на сайтах пишут по-разному: «вчера в 18:40», «3 марта», ISO-формат. Я привожу их к одному виду, иначе сортировка в Excel ломается. Дубли возникают, когда новость лежит сразу в нескольких рубриках или перепечатана на другом сайте. Убираю повторы по адресу и по близости заголовков.
Кодировки старых сайтов тоже дают сюрпризы: вместо русских букв приходят иероглифы. Это исправляется, но лучше знать заранее. Тексты СМИ охраняются авторским правом, поэтому для публикации чужих материалов у вас должно быть на это разрешение; для анализа и мониторинга упоминаний достаточно заголовков и ссылок.
Разово или по расписанию
Разовая выгрузка подходит для исследования: собрать архив за период и посчитать упоминания. Для мониторинга настраиваю автоматический парсер: он запускается по расписанию, забирает только свежее и не повторяет уже сохранённое. Результат можно получать файлом на почту или складывать в базу.
Для оценки пришлите список сайтов или RSS-лент, тему или ключевые слова для отбора и нужную частоту: раз в сутки, раз в час или однократно за период.