Загрузка страниц: requests, httpx, aiohttp
Библиотека requests давно стала стандартом для простых запросов. Короткий синтаксис, сессии с cookie, таймауты, прокси. Для большинства задач её достаточно.
httpx похож на requests по интерфейсу и умеет работать асинхронно. aiohttp рассчитана на параллельные запросы, когда нужно быстро обработать много страниц, не создавая сотни потоков. Скорость при этом ограничивается не только программой, но и вежливостью к чужому серверу, поэтому ускорять сбор бесконечно нельзя.
Если у вас на входе список адресов, а не обход сайта, достаточно requests и цикла. Если нужно держать открытое соединение и повторно использовать cookie, удобна сессия: requests.Session(). Она ускоряет работу и снижает число лишних соединений.
Разбор HTML: BeautifulSoup и lxml
BeautifulSoup (пакет beautifulsoup4) самая популярная библиотека для разбора. Прощает кривой HTML, имеет понятные методы поиска и поддерживает CSS-селекторы. Именно с неё обычно начинают.
lxml быстрее и умеет работать с XPath, языком путей по дереву документа. Её можно использовать отдельно или как движок внутри BeautifulSoup. Если страниц десятки тысяч, разница в скорости заметна.
Библиотека parsel, на которой построены селекторы Scrapy, объединяет CSS и XPath в одном интерфейсе и подходит, когда нужен разбор без всего фреймворка.
Отдельно упомяну pandas: функция read_html вытаскивает таблицы со страницы сразу в таблицу данных, что экономит время, если нужные сведения лежат в обычной HTML-таблице.
Scrapy: когда нужен фреймворк
Scrapy это целый каркас для обхода сайтов, а не отдельная библиотека. Он сам управляет очередью адресов, повторными попытками, паузами между запросами, конвейером обработки и экспортом в csv, json и xml.
Плюс: если проект большой и живёт долго, структура помогает не запутаться. Минус: порог входа выше, чем у связки requests и BeautifulSoup, а для разовой задачи на пару сотен страниц он избыточен.
Для динамических страниц Scrapy сам по себе JavaScript не выполняет, его комбинируют с браузерными инструментами или находят скрытый запрос за данными.
Если задачу решает один скрипт на сотню строк, фреймворк не нужен. Если у вас несколько источников, расписание и хранилище, Scrapy сэкономит время на инфраструктуре.
Страницы на JavaScript: Selenium и Playwright
Когда цены и списки появляются после выполнения скриптов, нужен настоящий браузер под управлением программы. Selenium умеет это давно и поддерживается многими инструментами. Playwright более новая библиотека с удобным ожиданием загрузки элементов и поддержкой нескольких браузеров.
Браузерный способ медленнее и требует больше памяти, поэтому сначала стоит проверить, нет ли у страницы запроса, который отдаёт данные напрямую в формате JSON. Тогда браузер не нужен, а сбор работает в разы быстрее.
Для сайтов с защитой от автоматизации одни библиотеки не решают задачу, и я не предлагаю обходить такие защиты. Если площадка ограничивает автоматический доступ, лучше искать официальный API.
Пара слов о совместимости. Не все библиотеки одинаково хорошо работают в одном проекте: например, асинхронные запросы плохо сочетаются с синхронным кодом разбора, если не продумать структуру. Для небольших проектов проще держаться одного стиля от начала до конца.
Как собрать набор под свою задачу
Короткая схема выбора. Маленький статичный сайт: requests и BeautifulSoup. Много страниц и важна скорость: requests и lxml, при необходимости асинхронно. Большой проект с регулярным запуском: Scrapy. Динамическая страница: Playwright или Selenium. Для сохранения в xlsx пригодится openpyxl, в csv встроенный модуль csv.
Вопросы поддержки тоже стоит учесть: библиотеки обновляются, и код, написанный несколько лет назад, иногда требует правок. Фиксируйте версии в файле requirements.txt, чтобы проект запускался одинаково на любом компьютере.
Для заказчика выбор библиотеки обычно не важен: ему нужен результат в виде файла. Если вам нужна готовая выгрузка, а не код, пришлите ссылку на сайт и скажите, в каком формате удобнее получить данные.