Transformer Block : Residuals and Layer Normalization for Beginners, Why Can Transformers Be So Deep

Что такое блок трансформера, элемент, который многократно добавляется в модели, подобные ChatGPT? В этом видео для начинающих объясняется всё с нуля: как работает механизм внимания и сеть прямого распространения, почему остаточные связи (x + ...) позволяют нам добавлять множество слоев, что LayerNorm делает с числами, почему современные модели добавляют его перед каждым шагом (до нормализации) и как блоки объединяются в остаточный поток, с реальным кодом PyTorch. Плейлист: https://www.youtube.com/playlist?list=PLDVmV30T-kdA 📖 Бесплатная книга-спутник (CC-BY): https://amitxshukla.github.io/LLM/ 💻 Код: https://github.com/AmitXShukla/llm Предыдущие эпизоды не требуются. Это часть бесплатного курса, в котором мы обучаем небольшую языковую модель с нуля. В качестве примера используется санскрит, но тот же код работает для любого языка: урду, корейского, английского и других. Цель — понять основные идеи; В реальных проектах вы будете в основном дорабатывать существующие модели, которые представляют собой наборы именно таких блоков. Бесплатный код и книга (без лицензионных сборов): https://amitxshukla.github.io/LLM *Главы:* 0:00 Что вы узнаете 0:19 Серия, любой язык, почему это важно 0:51 Один блок: сначала поговорим, потом подумаем 1:22 Остаточные соединения: x + … 2:09 LayerNorm: поддержание чисел в диапазоне 2:48 Где находится LayerNorm: пре-норма 3:20 Код — класс Block 3:50 Наложение блоков: остаточный поток 4:21 Итоги, доработка, что дальше