Избранные главы NLP 5 (семинар). Промптинг
Таймкоды: 0:00:00 — Введение. Тема семинара: Prompting, chat-template, LoRA 0:00:20 — 1. Загрузка базовой модели (Qwen2.5-3B) 0:00:48 — Постановка задачи на расчет свободной памяти GPU 0:02:44 — Поведение базовой (base) модели без инструкций (продолжение текста) 0:03:05 — Chain-of-Thought: добавление «Let's think step by step» 0:05:25 — Few-shot prompting на базовой модели 0:06:05 — Артефакты в генерации и системный промпт 0:07:20 — Расследование источника: датасет Open-Orca и статья Orca 0:10:36 — 2. Работа с Instruct-моделью (Qwen3-4B) 0:18:15 — Запуск Instruct-модели с «сырым» промптом без шаблона 0:18:43 — Принцип работы Chat Template и токенизатора (`apply_chat_template`) 0:20:15 — Управление режимом рассуждений (`enable_thinking`) 0:22:20 — 3. Прикладные кейсы: попытка обхода ограничений (Jailbreaking) 0:26:08 — Форсирование ответа ассистента через `continue_final_message` 0:27:08 — 4. Реализация LoRA с нуля (Self-made LoRA) 0:28:05 — Архитектура LoRA и инициализация матриц A и B 0:30:45 — Встраивание LoRA-слоев в слои внимания (Q/V проекции) 0:31:37 — Подготовка данных и обучение LoRA на игрушечном датасете 0:32:35 — Тестирование обученной модели 0:34:44 — Итоги семинара и анонс домашнего задания (библиотека PEFT) Дата семинара: 05.10.2026
Название:
Избранные главы NLP 5 (семинар). Промптинг
Категория:
Обучение