Программа или готовые данные
Сначала стоит решить, что вам на самом деле нужно. Если данные нужны один раз, проще заказать результат: я собираю и присылаю файл, а программа остаётся у меня. Если сбор должен идти регулярно или парсер встраивается в вашу систему, заказывают саму программу.
Программу передаю с исходным кодом и короткой инструкцией: как запустить, где лежат настройки, как поменять список адресов или полей. Так парсер не привязан ко мне, и при желании его сможет доработать любой разработчик.
Купить готовый парсер или заказать разработку
Готовые программы и грабберы удобны для типовых задач: собрать страницы по шаблону, выгрузить таблицу с простого сайта. Но они собирают то, что заложил автор. Если у источника необычная структура, товары с вариантами или подгрузка на JavaScript, готовую программу приходится долго настраивать, а иногда она не справляется вовсе.
Парсер под заказ пишется под конкретный сайт и ваш набор полей. Если посмотрю источник и увижу, что вашу задачу закрывает готовый инструмент, скажу об этом честно: платить за разработку там, где хватит настройки, нет смысла.
На чём пишу: Python и PHP
Основной язык у меня Python. Для обычных HTML-страниц это запросы через requests и разбор через lxml или BeautifulSoup, для больших обходов с очередью адресов Scrapy, для страниц, которые собираются в браузере, Playwright или Selenium.
PHP выбираю, когда парсер должен жить на вашем хостинге рядом с сайтом или CMS и запускаться оттуда же. Инструмент подбираю после просмотра источника, а не наперёд. Если хотите разобраться и написать парсер сами, начните со статьи о том, как написать парсер на Python.
Где запускать парсер
Разовые задачи запускаю у себя и отдаю результат. Для регулярного сбора парсер можно разместить на вашем сервере, на отдельном VPS или на обычном хостинге, если язык и нагрузка это позволяют.
Для регулярной работы добавляю то, без чего программа быстро становится неудобной:
- журнал запусков, чтобы было видно, что и когда собрано;
- продолжение с места остановки после сбоя, а не обход с начала;
- повтор запросов при сетевых ошибках с паузами, чтобы не нагружать источник;
- сравнение с прошлым запуском: новые позиции, изменения цен, пропавшие товары;
- уведомление, если поля перестали находиться, вместо молча пустого файла.
Сопровождение после сдачи
Сайты меняют вёрстку, и любой парсер однажды перестаёт находить данные. Здесь два пути: вы поддерживаете программу сами по коду и инструкции или я беру сопровождение. Во втором случае исправляю парсер после изменений на сайте, добавляю поля и новые источники. Условия согласуем до запуска.
Персональные данные физических лиц не собираю, обход капчи и защиты от ботов не делаю: до начала проверяю, какие данные доступны, и ищу официальный путь вроде API или фида.
Для оценки пришлите ссылку на источник, список полей, частоту запуска и где будет работать программа. Если есть требование к языку, скажите сразу. Напишите в чат своими словами задачу, в режиме диалога обсудим и определим стоимость.