Выгрузка данных парсинга в CSV

CSV это простой текстовый файл, где значения строки разделены символом, и в нём удобно передавать большие таблицы. Я собираю данные с сайта и выгружаю в CSV с нужной кодировкой, разделителем и экранированием, чтобы файл открывался в Excel и принимался вашей программой.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2id10021
3nameКабель медный
4price125.50
5qty340
6categoryКабели;Силовые
7urlhttps://example.ru/c/10021
8updated2026-01-15
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

Почему именно CSV

Это самый лёгкий формат: без форматирования и лимитов Excel по строкам. Файл с миллионом строк читается построчно и грузится в базу целиком. Его принимают 1С, CRM, системы аналитики, импорт CMS. Excel при открытии двойным кликом берёт разделитель из региональных настроек Windows, поэтому для русской локали чаще ставлю точку с запятой.

Под парсером CSV часто понимают другое: программу на Python, Bash или C, которая читает готовый файл. Это работа разработчика с файлом, а я собираю данные с сайта и сразу отдаю их в csv.

Типичные проблемы с csv

  • кодировка: Windows-1251 для старых программ и Excel, UTF-8 для всего остального;
  • разделитель: запятая в десятичных числах конфликтует с запятой между столбцами, поэтому часто используют точку с запятой;
  • переносы строк в описаниях ломают таблицу, если значение не взято в кавычки;
  • ведущие нули в артикулах теряются при открытии в Excel;
  • дата в разных локалях читается по-разному.

Как подготовлю файл

Перед выгрузкой уточняю, куда файл пойдёт, и подбираю кодировку, разделитель и формат чисел. Длинные тексты экранирую, переносы строк заменяю или сохраняю в кавычках по требованию вашей системы. Первую строку делаю заголовком с нужными именами столбцов. Если файл очень большой, разбиваю на части по тысячам строк, чтобы импорт не упёрся в лимит.

Для оценки пришлите ссылку на источник и скажите, в какую программу пойдёт файл. Если есть образец, который она уже принимает, приложите его.

Большие объёмы и частые обновления

Для каталога в сотни тысяч строк csv удобнее всего: файл можно читать по частям и загружать в базу командой массовой вставки. Если данные обновляются часто, я делаю два файла: полный и дельту, где только изменившиеся строки. Это ускоряет импорт и снижает нагрузку на сервер.

Имена столбцов лучше писать латиницей без пробелов, если файл читает программа. Для человека добавляю отдельную версию с русскими заголовками.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Нужны ли кавычки вокруг всех значений?

Обязательно брать в кавычки только значения, где есть разделитель, кавычка или перенос строки, а кавычки внутри значения удваиваются. Одни программы требуют кавычки вокруг каждого поля, другие их не любят, поэтому подстраиваю файл под вашу.

Как открыть csv в Excel без кракозябр?

Импортируйте файл через вкладку «Данные» и укажите кодировку UTF-8 и разделитель. Либо я сразу сохраню файл в кодировке и формате, которые Excel откроет двойным кликом.

Подойдёт ли csv для загрузки в 1С?

Да, если задать структуру под обработку загрузки: столбцы, кодировку и разделители. Подробности по 1С описаны на странице загрузки данных парсинга в 1С.

Написать в чат