Стэнфорд CS229 | Машинное обучение | Создание больших языковых моделей (LLM)

В этой лекции представлен краткий обзор процесса создания моделей типа ChatGPT, охватывающий как этап предварительного обучения (pretraining / языковое моделирование), так и этап дообучения (post-training / SFT и RLHF). Для каждого компонента рассматриваются общепринятые практики сбора данных, алгоритмы и методы оценки. Эту гостевую лекцию прочитал Ян Дюбуа в рамках курса Стэнфордского университета "CS229: Машинное обучение" летом 2024 года