Почему именно CSV
Это самый лёгкий формат: без форматирования и лимитов Excel по строкам. Файл с миллионом строк читается построчно и грузится в базу целиком. Его принимают 1С, CRM, системы аналитики, импорт CMS. Excel при открытии двойным кликом берёт разделитель из региональных настроек Windows, поэтому для русской локали чаще ставлю точку с запятой.
Под парсером CSV часто понимают другое: программу на Python, Bash или C, которая читает готовый файл. Это работа разработчика с файлом, а я собираю данные с сайта и сразу отдаю их в csv.
Типичные проблемы с csv
- кодировка: Windows-1251 для старых программ и Excel, UTF-8 для всего остального;
- разделитель: запятая в десятичных числах конфликтует с запятой между столбцами, поэтому часто используют точку с запятой;
- переносы строк в описаниях ломают таблицу, если значение не взято в кавычки;
- ведущие нули в артикулах теряются при открытии в Excel;
- дата в разных локалях читается по-разному.
Как подготовлю файл
Перед выгрузкой уточняю, куда файл пойдёт, и подбираю кодировку, разделитель и формат чисел. Длинные тексты экранирую, переносы строк заменяю или сохраняю в кавычках по требованию вашей системы. Первую строку делаю заголовком с нужными именами столбцов. Если файл очень большой, разбиваю на части по тысячам строк, чтобы импорт не упёрся в лимит.
Для оценки пришлите ссылку на источник и скажите, в какую программу пойдёт файл. Если есть образец, который она уже принимает, приложите его.
Большие объёмы и частые обновления
Для каталога в сотни тысяч строк csv удобнее всего: файл можно читать по частям и загружать в базу командой массовой вставки. Если данные обновляются часто, я делаю два файла: полный и дельту, где только изменившиеся строки. Это ускоряет импорт и снижает нагрузку на сервер.
Имена столбцов лучше писать латиницей без пробелов, если файл читает программа. Для человека добавляю отдельную версию с русскими заголовками.