Что значит парсить Telegram
Когда говорят «парсер Telegram», имеют в виду разные вещи. Один человек хочет выгрузить посты конкурентов, другой найти каналы по теме, третий получить список людей из чата. Первые две задачи я решаю. Третью нет: имена, идентификаторы и контакты участников относятся к персональным данным.
Поэтому в моей работе Telegram это публичный контент: канал, который открывается по ссылке, и открытый чат, где сообщения видны без вступления. Закрытые каналы, личные переписки и списки подписчиков в работу не берутся.
Что выгружают из Telegram и где об этом подробнее
Заказы делятся на несколько направлений, и у каждого своя страница с подробностями. Здесь общая картина, чтобы вы поняли, к какому направлению относится ваша задача.
- посты публичных каналов с датами, просмотрами и пересылками (подробно на странице о каналах)
- сообщения открытых чатов по ключевым словам с обезличенными авторами (на странице о чатах)
- подбор каналов по теме: описание, подписчики, частота публикаций
- упоминания бренда или товара в публичных каналах
- таблица из истории вашего собственного чата или канала
Подводные камни источника
Данные Telegram доступны несколькими путями, и у каждого свои границы. Веб-версия публичного канала (адрес вида t.me/s/example_channel) листается назад по архиву и показывает тексты, просмотры и число подписчиков, но комментариев к постам в ней нет, а видео часто открывается только в приложении. Официальный клиентский API отдаёт больше, но для него нужен собственный аккаунт и согласие с правилами платформы. Бот видит только те чаты и каналы, куда его добавил владелец. Перед стартом проверяю, какой путь подходит вашей задаче.
Ещё одна особенность: просмотры и реакции меняются со временем. Свежий пост через сутки выглядит иначе, поэтому для аналитики стоит договориться, на какой момент фиксируется цифра. Для регулярных задач настраиваю автоматический парсер, который снимает показатели через равные интервалы и складывает историю.
Юридические границы и согласие
Публичный пост канала это опубликованная информация, и анализировать её можно. Иначе с людьми: если в выгрузку попадают имена, никнеймы и контакты, это уже персональные данные, и для работы с ними нужны основания по 152-ФЗ. Я такие данные не собираю, чтобы вы не получили файл, с которым опасно работать.
Отдельно про рассылки. Согласие получателя по 38-ФЗ нужно на рекламную рассылку, в том числе в мессенджерах. Адресное индивидуальное предложение конкретной компании рекламой не считается, но это не повод для массовых сообщений. Для деловых предложений могу собрать только корпоративные контакты, которые компания сама опубликовала на сайте или в описании канала.
Если не уверены, подходит ли ваша задача под эти рамки, опишите её в двух словах. Скажу прямо, что смогу сделать, а что стоит решить другим способом.
Как устроена работа
Вы присылаете список каналов или тему и описываете, какие поля нужны. Сначала согласуем образец на небольшом числе строк, вы скажете, что поправить, и после этого я соберу весь объём. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.
Для ручной работы хватит Excel. Если выгрузка идёт в систему аналитики, отдам JSON или загружу в базу SQL.