Флот: География чипа

Отказ от ответственности: это видео создано с помощью Google NotebookLM. Fleet: Иерархическая абстракция задач для многокристальных графических процессоров Представленный текст знакомит с Fleet, новой моделью программирования и средой выполнения постоянного ядра, разработанной для оптимизации рабочих нагрузок ИИ на многокристальных графических процессорах. Стандартные модели программирования рассматривают эти аппаратные средства на основе чиплетов как плоские иерархии, что приводит к неэффективному использованию памяти и избыточному трафику данных во время таких задач, как вывод LLM. Для решения этой проблемы Fleet реализует многоуровневую модель задач, которая включает абстракцию «задача чиплета», позволяющую разработчикам привязывать данные и вычисления к конкретным аппаратным кристаллам и их локальным кэшам. Благодаря использованию иерархической синхронизации и кооперативного распределения весов система значительно улучшает использование кэша L2 и снижает трафик внешней памяти. Тестирование на AMD Instinct MI350 показывает, что Fleet обеспечивает до 1,5 раз меньшую задержку, чем современные передовые фреймворки. В конечном итоге, исследование демонстрирует, что программно-управляемое планирование может успешно преодолеть физическую фрагментацию памяти, присущую современным чиплетным архитектурам. #ai #research #gpu #AMD #llm #inference