timbossm/qwen2.5-3B-sql-mgpu-bi-ft

Эта модель представляет собой дальнейшее дообучение (fine-tuning) модели Ellbendls/Qwen-2.5-3b-Text_to_SQL для генерации SQL-запросов на основе инструкций на естественном языке и предоставленного контекста схемы базы данных.

Описание Модели

• Промежуточная базовая модель: Ellbendls/Qwen-2.5-3b-Text_to_SQL
  • Эта модель, в свою очередь, является доработанной версией Qwen/Qwen2.5-3B-Instruct (3B параметров).
  • Она была обучена на наборах данных gretelai/synthetic_text_to_sql и timbossm/sql_bi__b_db.
• Финальное дообучение (данная модель): Модель timbossm/qwen2.5-3B-sql-mgpu-bi-ft была дополнительно дообучена с использованием метода LoRA (Parameter-Efficient Fine-Tuning) на кастомном датасете (generated_sql_data_0-3000.jsonl).
• Задача: Text-to-SQL (преобразование текста в SQL).
• Формат данных для финального дообучения: Модель обучалась на примерах, включающих:
  • Контекст БД (sql_context): DDL-скрипты (CREATE TABLE...) для описания структуры таблиц.
  • Инструкция (sql_prompt): Запрос на естественном языке (например, "Выведи имена всех сотрудников старше 30").
  • Целевой SQL (sql): Правильный SQL-запрос, соответствующий инструкции и контексту.
• Дополнительные метаданные кастомного датасета: Датасет также содержал информацию об отраслевом секторе (industry_sector), теме (topic), сложности SQL (sql_complexity), SQL-концепциях (sql_concept) и типе задачи (sql_task_type), хотя эти поля напрямую не использовались как входные данные для модели во время обучения в формате ChatML.

Наборы данных

• Для промежуточной базовой модели (Ellbendls/Qwen-2.5-3b-Text_to_SQL):
  • gretelai/synthetic_text_to_sql
  • timbossm/sql_bi__b_db
• Для финального дообучения (данная модель):
  • Кастомный датасет dataset_sql_bi_b_db.jsonl

Назначение и Ограничения

• Предполагаемое использование: Генерация SQL-запросов для взаимодействия с базами данных, помощь в анализе данных, образовательные цели (обучение SQL). Модель ожидает на вход описание схемы БД и инструкцию на естественном языке.
• Не предназначено для: Генерации кода на других языках программирования (кроме SQL), ведения общих диалогов, выполнения сложных многоэтапных рассуждений, генерации запросов для сильно отличающихся диалектов SQL или NoSQL баз данных, если они не были представлены в обучающих данных.
• Ограничения:
  • Качество генерации сильно зависит от качества и полноты предоставленного контекста схемы БД.
  • Производительность на диалектах SQL, не представленных в обучающем датасете, не гарантируется.
  • Модель наследует ограничения и потенциальные предвзятости базовых моделей (Ellbendls/Qwen-2.5-3b-Text_to_SQL, Qwen/Qwen2.5-3B-Instruct) и данных, на которых они обучались.

Как Использовать

Важно: Эта модель (и ее базовая модель Ellbendls/Qwen-2.5-3b-Text_to_SQL) дообучалась с использованием специфического формата промпта, включающего контекст БД и инструкцию. Для получения наилучших результатов при инференсе следует использовать тот же формат.

Compute Infrastructure

Hardware

Обучение проводилось на GPU NVIDIA RTX 2000.

Software

• Python
• PyTorch
• Hugging Face transformers
• Hugging Face datasets
• Hugging Face accelerate
• Hugging Face huggingface-hub

Citation

BibTeX:

@misc{qwen2.5-3B-sql-mgpu-bi-ft},
  author = {Bosenko T.M},
  title = {qwen2.5-3B-sql-mgpu-bi-ft},
  year = {2025}, 
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/timbossm/sales-sql-finetuned-model}},
  note = {Дообучено на материалах Лабораторного практикума МГПУ по языку SQL, 2025.}
}

APA:

timbossm. (2025). sales-sql-finetuned-model. Hugging Face. Retrieved from [https://huggingface.co/timbossm/qwen2.5-3B-sql-mgpu-bi-ft](https://huggingface.co/timbossm/qwen2.5-3B-sql-mgpu-bi-ft) (Дообучено на материалах Лабораторного практикума МГПУ по языку SQL, 2025).
Босенко, Т. М.,  Фролов, Ю. В. (2025). Лабораторный практикум по языку SQL: практикум*. МГПУ.

@misc{qwen2.5-3B,
    title  = {qwen2.5-3B-sql-mgpu-bi-ft},
    url    = {https://huggingface.co/timbossm/qwen2.5-3B-sql-mgpu-bi-ft},
    author = {MGPU},
    month  = {April},
    year   = {2025}
}