Оптимизация вывода ИИ для гетерогенных кластеров. Автор: Натали Серрино, основатель Gimlet Labs.

Доклад №0: Вступление и информация о встрече Крис Фрегли и Антье Барт Доклад №1: Оптимизация вывода ИИ для гетерогенных кластеров, Натали Серрино, основатель Gimlet Labs В этом докладе будут рассмотрены преимущества производительности и технические проблемы развертывания рабочих нагрузок вывода на гетерогенном оборудовании. Это хорошо подходит для агентов, поскольку агенты по своей природе гетерогенны, а сочетание графических процессоров с архитектурами, ориентированными на SRAM, приводит к значительному ускорению при том же энергопотреблении. Но вам также необходимо выяснить, как распределять рабочие нагрузки и координировать их на всем этом оборудовании, обеспечить взаимодействие оборудования друг с другом и разработать высокопроизводительный код для каждой целевой платформы. Докладчик: Натали Серрино, основатель Gimlet Labs (https://www.linkedin.com/in/natalieserrino/ @ https://gimletlabs.ai/) Доклад №2: Оптимизация производительности GPU, PyTorch и CUDA Ссылка на Zoom: https://us02web.zoom.us/j/82308186562 Ссылки по теме Репозиторий Github: http://github.com/cfregly/ai-performance-engineering/ Книга O'Reilly: https://www.amazon.com/Systems-Performance-Engineering-Optimizing-Algorithms/dp/B0F47689K8/ YouTube: https://www.youtube.com/@AIPerformanceEngineering Бесплатный курс по генеративному ИИ на DeepLearning.ai: https://bit.ly/gllm