Загрузка данных парсинга в SQL-базу

Загрузка в SQL это передача собранных данных сразу в таблицы базы, без промежуточного Excel. Я собираю данные с сайтов и отдаю sql-файл с созданием таблиц и вставкой записей либо загружаю результат в вашу базу по временному доступу.

Написать в чатОтвечаю лично, без менеджеров
vygruzka.xlsxусловный пример
AB
1СтолбецЗначение
2id1
3category_id15
4titleКронштейн настенный
5price390.00
6stock25
7urlhttps://example.ru/p/1
8created_at2025-11-01 10:00:00
~1200 заказоввыполнено за 2016–2026 годы
Без подробного ТЗзадачу уточняем в диалоге
xlsx, csv, xml, json, sqlформат под вашу загрузку

SQL-парсер и загрузка в базу

Под SQL-парсером обычно понимают инструмент разработчика: программу, которая разбирает текст SQL-запроса и проверяет его синтаксис. Это задача из области компиляторов и инструментов баз данных, ею я не занимаюсь.

Я решаю другую задачу: даю базу с данными, собранными с сайтов. На выходе вы получаете файл, который выполняется в MySQL, MariaDB, PostgreSQL или SQLite, или данные уже лежат в вашей базе.

Что готовлю

  • схему таблиц: типы полей, первичные ключи, индексы для быстрой выборки;
  • связи: категории и товары, товары и картинки, товары и параметры;
  • кодировку utf8 и сравнение, чтобы русский поиск работал правильно;
  • экранирование кавычек и спецсимволов в тексте;
  • батчевую вставку, чтобы большой дамп загружался быстро.

Подводные камни

Типы данных: цену лучше хранить как decimal, а не float, иначе копейки поплывут. Даты приводят к одному часовому поясу. Описания хранят в text, иначе длинные тексты обрежутся. Для поиска по названию пригодится полнотекстовый индекс, а для фильтров по цене и категории обычный составной.

Если у вас уже есть база, например от интернет-магазина, структура задана CMS, и данные нужно складывать в её таблицы строго по правилам. Тогда лучше работать на копии базы и проверять результат, а не писать сразу в рабочую. Резервную копию перед загрузкой делайте в любом случае.

Обновление данных без дублей

Если сбор повторяется, данные нужно не вставлять заново, а обновлять. Для этого в таблице нужен уникальный ключ, например артикул плюс источник, и операция вставки с обновлением при совпадении. Так цены и остатки меняются, а старые записи не копируются.

Историю цен лучше хранить в отдельной таблице: дата, товар, значение. Основная таблица остаётся компактной, а график можно строить по истории.

Для оценки пришлите ссылку на источник и, если база уже есть, структуру таблиц, куда складывать данные.

Как проходит работа

  1. Вы пишете задачу в чат

    Своими словами, как есть. Подойдёт ссылка на источник и пара предложений.

  2. Обсуждаем в режиме диалога

    Проверяю, какие данные доступны и можно ли их собирать. Вместе определяем объём и стоимость.

  3. Вы получаете результат

    Готовый файл, загрузку в ваш сайт или настроенный парсер с регулярным обновлением.

Вопросы

Можно ли загрузить данные прямо в базу сайта?

Да, если вы дадите доступ или выполните готовый sql-файл сами. Для рабочей базы советую сначала проверить загрузку на копии и сделать резервную копию.

Что делать, если phpMyAdmin обрывает импорт дампа?

Большой файл упирается в лимиты загрузки и времени выполнения на хостинге. Я делю дамп на части или даю команду для загрузки из консоли, где таких ограничений обычно нет. Если доступа к консоли нет, части загружаются по очереди.

Какие базы поддерживаете?

Готовлю дамп под MySQL и MariaDB, а для PostgreSQL и SQLite адаптирую синтаксис. Укажите вашу версию и кодировку, чтобы файл выполнялся без правок.

Написать в чат