Парсинг PDF и прайс-листов

Парсинг PDF это извлечение текста и таблиц из PDF-файлов, например прайс-листов поставщиков, в Excel или CSV. Я разберу ваши файлы, верну таблицу с артикулами, названиями и ценами и сразу скажу, насколько надёжно получится вынуть данные из конкретного документа.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2Страница PDF12
3АртикулK-2201
4НаименованиеТруба ПП 20 мм
5Единицам
6Цена45.60
7Остатокв наличии
8Примечаниеакция
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Два вида PDF

Первый вид: текстовый PDF, созданный из Excel или Word. В нём текст лежит слоем, и таблицу можно извлечь почти без потерь. Второй вид: скан или фото документа. Это картинка, и сначала нужно распознавание текста (OCR), после которого ошибки неизбежны, особенно в цифрах и артикулах.

Бывает и смешанный вариант: текстовый PDF, в который таблица вставлена картинкой. Это легко проверить, попробовав выделить цену мышью: если не выделяется, перед вами изображение.

Поэтому первое, что делаю: смотрю ваш файл и сообщаю, к какому типу он относится и какое качество можно ожидать.

Что мешает при извлечении

  • таблица без линий: границы столбцов приходится угадывать по отступам;
  • строки, разорванные между страницами, и повторяющиеся шапки;
  • объединённые ячейки с названием раздела над группой товаров;
  • артикулы с ведущими нулями и пробелами;
  • цены с разделителями тысяч и валютой в ячейке;
  • колонтитулы и водяные знаки, попадающие в текст.

Что получите

Таблицу в xlsx или csv, где одна позиция занимает одну строку, а раздел прайса вынесен в отдельный столбец. Если поставщик регулярно присылает обновлённый PDF с постоянной структурой, настраиваю обработчик: вы кладёте файл в папку, а на выходе получаете готовую таблицу.

PDF поставщика бывает закрытым для третьих лиц или иметь ограничения по использованию, поэтому обрабатываю только те документы, которые вам разрешено использовать.

Проверка результата

После извлечения сверяю число позиций с документом, выборочно сравниваю страницы с исходником и помечаю сомнительные строки: пустую цену, подозрительный артикул, склеенные названия. Эти строки вы видите отдельным списком и можете быстро проверить глазами.

Если в документе есть цены в разных валютах или с пометкой «по запросу», такие значения остаются в отдельном столбце как текст, чтобы формулы не считали их за ноль. Для оценки пришлите сам файл или несколько его страниц, в том числе самые неудобные.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Как парсить PDF в Python?

Для текстовых PDF используют библиотеки чтения страниц и поиска таблиц. Для сканов нужен OCR. Универсального решения нет, настройка зависит от вёрстки документа. Я подберу способ под ваш файл.

Можно ли вытащить данные из скана?

Можно, но с распознаванием ошибки возможны. Цифры и артикулы нужно выборочно сверять. Лучше вместо скана попросить у поставщика исходный текстовый PDF или Excel.

Можно ли собирать PDF с сайта и разбирать их автоматически?

Да. Если файлы лежат на публичных страницах, скачаю их по списку и извлеку данные. Перед этим проверю, что их публикация допускает такое использование.

Написать в чат