Из чего состоит скрипт: cURL, DOM и XPath
Основа проста. Страницу забирает cURL: он умеет заголовки, куки, редиректы и таймауты. Полученный HTML загружается в DOMDocument, а нужные элементы выбираются через DOMXPath. Для сложной вёрстки подключаю библиотеки разбора вроде Simple HTML DOM или Symfony DomCrawler. Для цен и дат пишу отдельные функции разбора: цена с пробелами и знаком валюты превращается в число, а «вчера» в дату.
Заголовки запроса, в том числе User-Agent, я выставляю честно: парсер представляется как обычный клиент, без подмены под браузеры других сайтов и без обхода ограничений.
Где PHP удобнее остальных
Скрипт можно положить в папку вашего сайта и запускать по расписанию через cron на хостинге. Он может писать данные прямо в базу магазина или формировать CSV для импорта. Не нужно ставить ничего, что хостинг не поддерживает.
Ограничения тоже есть: лимит времени выполнения скрипта и память. Для больших обходов я делаю порционную работу: каждый запуск обрабатывает часть страниц и запоминает, где остановился.
- Разбор HTML, строк, цен и дат
- Паузы между запросами, чтобы не нагружать сайт
- Запись в MySQL или файл
- Журнал ошибок и повторные попытки
Результат и поддержка
Результат можно получить файлом CSV, XML или JSON либо записью в таблицы вашего сайта. Для магазинов на OpenCart, DLE или WordPress готовлю запись в структуру конкретной системы.
Сайты-источники меняют вёрстку, и парсер иногда нужно править. Я заранее договариваюсь, как вы сообщаете о сбое и что входит в доработку, чтобы не было неожиданностей.
Когда PHP не подходит
Если страница собирается на JavaScript и нужной информации нет в исходном коде, обычного cURL недостаточно. Тогда либо ищу запрос, из которого сайт сам берёт данные, либо использую браузерную автоматизацию, чаще на Python.
Для оценки пришлите ссылку на источник, список полей и скажите, какой у вас хостинг и версия PHP.