Избранные главы NLP 5. SFT, alignment, in-context learning

36 подписчиков

12+
12+

1 просмотр

7 дней назад

ПожаловатьсяНарушение авторских прав

36 подписчиков

12+
12+

1 просмотр

7 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

7 дней назад

Таймкоды: 0:00:00 — Введение: цели post-training и SFT 0:05:09 — 1. Механика и целевая функция SFT (SFT objective) 0:07:34 — 2. Instruction tuning, маскирование лосса и шаблоны чата 0:10:27 — 3. Данные для SFT и генерация синтетических датасетов 0:19:26 — Разбор полного пайплайна обучения (на примере SmolLM3) 0:30:14 — 4. Практика обучения: гиперпараметры, шедулеры и batch size 0:37:25 — 5. Что SFT может забыть: деградация навыков и безопасность 0:41:33 — 6. Метод PEFT: архитектура и применение LoRA 0:57:13 — 7. Обучение в контексте (In-context learning) 1:04:44 — 8. Адаптация промптов (Prompt tuning, Prefix tuning и GEPA) 1:25:28 — 9. Teacher forcing и проблема ошибок при генерации 1:33:55 — 10. Пайплайны передовых моделей (DeepSeek-R1, Qwen3, Granite) 1:38:42 — 11. Ограничения демонстраций и зачем нужен переход к RL 1:42:46 — Заключение: ключевые выводы и список литературы Дата лекции: 05.10.2026

Название:

Избранные главы NLP 5. SFT, alignment, in-context learning

Категория:

Обучение