SQL-парсер и загрузка в базу
Под SQL-парсером обычно понимают инструмент разработчика: программу, которая разбирает текст SQL-запроса и проверяет его синтаксис. Это задача из области компиляторов и инструментов баз данных, ею я не занимаюсь.
Я решаю другую задачу: даю базу с данными, собранными с сайтов. На выходе вы получаете файл, который выполняется в MySQL, MariaDB, PostgreSQL или SQLite, или данные уже лежат в вашей базе.
Что готовлю
- схему таблиц: типы полей, первичные ключи, индексы для быстрой выборки;
- связи: категории и товары, товары и картинки, товары и параметры;
- кодировку utf8 и сравнение, чтобы русский поиск работал правильно;
- экранирование кавычек и спецсимволов в тексте;
- батчевую вставку, чтобы большой дамп загружался быстро.
Подводные камни
Типы данных: цену лучше хранить как decimal, а не float, иначе копейки поплывут. Даты приводят к одному часовому поясу. Описания хранят в text, иначе длинные тексты обрежутся. Для поиска по названию пригодится полнотекстовый индекс, а для фильтров по цене и категории обычный составной.
Если у вас уже есть база, например от интернет-магазина, структура задана CMS, и данные нужно складывать в её таблицы строго по правилам. Тогда лучше работать на копии базы и проверять результат, а не писать сразу в рабочую. Резервную копию перед загрузкой делайте в любом случае.
Обновление данных без дублей
Если сбор повторяется, данные нужно не вставлять заново, а обновлять. Для этого в таблице нужен уникальный ключ, например артикул плюс источник, и операция вставки с обновлением при совпадении. Так цены и остатки меняются, а старые записи не копируются.
Историю цен лучше хранить в отдельной таблице: дата, товар, значение. Основная таблица остаётся компактной, а график можно строить по истории.
Для оценки пришлите ссылку на источник и, если база уже есть, структуру таблиц, куда складывать данные.