Парсер контента для DLE

Соберу материалы с сайта-источника и подготовлю их для DataLife Engine (DLE): заголовок, краткая и полная новость, категория, теги, дополнительные поля и картинки. Подходит для новостной ленты, каталога, афиши или справочника, если у вас есть права на материалы.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2ЗаголовокКак выбрать зимние шины
3КатегорияАвтомобили / Советы
4Краткая новостьПервые абзацы статьи
5Полная новостьПолный текст с разметкой
6Тегишины, зима
7Доп. поле: Источникexample.com/article
8Картинкаimages/shiny.jpg
9Дата2026-03-14 12:00
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Как устроен материал в DLE

В DLE материал это новость: заголовок, краткая и полная часть, одна или несколько категорий, теги, адрес и дополнительные поля. Дополнительные поля задаются в админке, а потом выводятся в шаблоне. Для каталогов, афиш и справочников на них строится вся карточка: цена, адрес, дата события, характеристики.

Поэтому парсер собирает текст и раскладывает его по полям, которые у вас заведены, а не складывает всё в одно окно.

Граббер, модуль или отдельный парсер

Готовые модули-грабберы для DLE работают в админке и подходят для простых источников с одинаковой разметкой. Если сайт-источник на JavaScript, меняет вёрстку или нужно сложное сопоставление полей, надёжнее отдельный парсер, который выдаёт готовый файл или заносит материалы в базу.

Чистка текста входит в работу: убираю рекламные блоки, лишние ссылки и стили, привожу картинки к одному виду, проверяю дубли по заголовку и адресу.

  • Сопоставление категорий источника и вашего сайта
  • Доп. поля под вашу структуру
  • Картинки на ваш сервер, а не ссылки на чужой
  • Защита от дублей при повторном запуске

Как материалы попадают на сайт

По умолчанию готовлю файл под ваш способ загрузки, и вы загружаете его сами после резервной копии. Загрузить сам могу по временному доступу, сначала на копии сайта. Картинки кладу в папку загрузок с теми же путями, что прописаны в тексте, чтобы ничего не ссылалось на чужой сервер.

Перед записью в базу смотрю версию DLE: структура таблиц и хранение доп. полей менялись, и файл под одну версию может не подойти к другой.

Расписание и обновление

Если источник публикует новые материалы каждый день, парсер можно запускать по расписанию. Он берёт только новые адреса, сопоставляет категории и складывает материалы в очередь на проверку.

Я рекомендую не публиковать их сразу, а смотреть вручную: так вы контролируете качество и не получаете на сайте дубли и пустые карточки.

Права на материалы

Тексты, фото и постеры охраняются авторским правом. Перенос материалов чужого сайта без разрешения может нарушать права автора, поэтому работаю с открытыми материалами, данными партнёров и вашими собственными текстами.

Для оценки пришлите ссылку на источник, список ваших категорий и доп. полей и скажите, как часто нужны новые материалы.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Подойдёт ли это для киносайта на DLE?

Карточку фильма раскладываю по доп. полям так же, как любую другую. Откуда брать сведения о фильмах и что с ними можно делать, разобрано на странице про Кинопоиск. Постеры и описания охраняются авторским правом, это нужно решить до запуска.

Нужен ли модуль на сайте?

Не обязательно. Я могу выдать файл для вашего импорта или заносить материалы в базу отдельным скриптом. Если вы хотите работать из админки, можно подобрать готовый граббер.

Как избежать дублей при повторном запуске?

Парсер хранит адреса или идентификаторы уже загруженных материалов и пропускает их. Так обновление раз в сутки добавляет только новое, а старые материалы не перезаписываются.

Написать в чат