Как устроен материал в DLE
В DLE материал это новость: заголовок, краткая и полная часть, одна или несколько категорий, теги, адрес и дополнительные поля. Дополнительные поля задаются в админке, а потом выводятся в шаблоне. Для каталогов, афиш и справочников на них строится вся карточка: цена, адрес, дата события, характеристики.
Поэтому парсер собирает текст и раскладывает его по полям, которые у вас заведены, а не складывает всё в одно окно.
Граббер, модуль или отдельный парсер
Готовые модули-грабберы для DLE работают в админке и подходят для простых источников с одинаковой разметкой. Если сайт-источник на JavaScript, меняет вёрстку или нужно сложное сопоставление полей, надёжнее отдельный парсер, который выдаёт готовый файл или заносит материалы в базу.
Чистка текста входит в работу: убираю рекламные блоки, лишние ссылки и стили, привожу картинки к одному виду, проверяю дубли по заголовку и адресу.
- Сопоставление категорий источника и вашего сайта
- Доп. поля под вашу структуру
- Картинки на ваш сервер, а не ссылки на чужой
- Защита от дублей при повторном запуске
Как материалы попадают на сайт
По умолчанию готовлю файл под ваш способ загрузки, и вы загружаете его сами после резервной копии. Загрузить сам могу по временному доступу, сначала на копии сайта. Картинки кладу в папку загрузок с теми же путями, что прописаны в тексте, чтобы ничего не ссылалось на чужой сервер.
Перед записью в базу смотрю версию DLE: структура таблиц и хранение доп. полей менялись, и файл под одну версию может не подойти к другой.
Расписание и обновление
Если источник публикует новые материалы каждый день, парсер можно запускать по расписанию. Он берёт только новые адреса, сопоставляет категории и складывает материалы в очередь на проверку.
Я рекомендую не публиковать их сразу, а смотреть вручную: так вы контролируете качество и не получаете на сайте дубли и пустые карточки.
Права на материалы
Тексты, фото и постеры охраняются авторским правом. Перенос материалов чужого сайта без разрешения может нарушать права автора, поэтому работаю с открытыми материалами, данными партнёров и вашими собственными текстами.
Для оценки пришлите ссылку на источник, список ваших категорий и доп. полей и скажите, как часто нужны новые материалы.