Современная локальная нейросеть на сервере 2017 года — тест Dell PowerEdge R740xd

Dell PowerEdge R740xd вышел ещё в 2017 году, но такие серверы до сих пор активно используются в инфраструктуре. В этом ролике разберём нашу конфигурацию, посмотрим на дисковую подсистему, процессоры, память, PCIe и установим две NVIDIA Tesla T4. А затем проверим, на что такая платформа способна сегодня при работе с современной локальной нейросетью: запуск модели, работа одного и нескольких пользователей, контекст и длительная нагрузка. Посмотрим, есть ли ещё смысл использовать R740xd для локального AI почти спустя десять лет после выхода. Подобрать сервер и конфигурацию под ваши задачи можно на нашем сайте: 🔸 https://clck.ru/3W7JEr Подписывайтесь на канал — впереди больше сборок, разборов серверного оборудования и готовых решений. Таймкоды: 00:00 - О чём ролик 00:30 - Нагрузка на сервер 01:05 - Что внутри конфигурации 03:40 - Запуск локальной модели 04:25 - Первый базовый тест 05:05 - Тест одного пользователя 05:55 - Проверка сгенерированного приложения 06:35 - Параллельные запросы 07:20 - Проверка размера контекста 08:00 - Длительная нагрузка 08:45 - Итоги тестирования