Свой ChatGPT на сервере за 12 000 ₽? Xeon против RTX 3080 Ti и RTX 5080

39 подписчиков

12+
12+

1 просмотр

20 часов назад

ПожаловатьсяНарушение авторских прав

39 подписчиков

12+
12+

1 просмотр

20 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

20 часов назад

Можно ли сделать свой ChatGPT дома без подписки на сервере за 12 000 ₽? Я поставил одну и ту же нейросеть — Qwen 3.8 на 27 миллиардов параметров — на три компьютера и устроил честную гонку: китайский Xeon E5-2690 v3 без видеокарты, старая RTX 3080 Ti и новая RTX 5080. Одна модель, одна программа (llama.cpp), одинаковые настройки — разница только в железе. Три теста: вопрос в чат, краткое содержание 35-минутного видео и браузерная игра «Собери сервер» одним запросом. Плюс бонус: ускоряет ли режим MTP и спасёт ли процессор модель поменьше. И честный счёт за электричество. Итоги в цифрах: видеокарты отвечают за секунды, Xeon — за минуты; игру RTX 5080 написала за 1:24, а Xeon — за 44 минуты. Но самая быстрая игра оказалась нерабочей — смотрите почему. А какой результат удивил вас? Пишите в комментариях. ⏱ Таймкоды 0:00 Один вопрос — три компьютера 0:08 Свой ChatGPT на сервере за 12 000 ₽? 0:29 Участники: Xeon, RTX 3080 Ti, RTX 5080 1:14 Тест 1: вопрос в чат 2:06 Почему такая пропасть: скорость памяти 2:32 Тест 2: длинный текст 3:07 Тест 3: игра одним запросом 3:57 Главный вывод теста 4:08 Бонус: MTP и модель поменьше 4:49 Счёт за электричество 5:09 Вывод: кому Xeon, кому видеокарта 5:42 Итоговая таблица 🔗 Ссылки Помогу поставить нейросеть на компьютер или сервер, оплатить зарубежный сервис, автоматизировать работу с ИИ — пишите в Telegram: https://t.me/CHUDASOV_A_N Полезные ссылки — сервисы, файлы и инструкции из роликов: https://ugolokpc.ru/links.html Моя группа в Telegram «Железный уголок»: https://t.me/ugolokpc Канал в VK Видео: https://vkvideo.ru/@ugolokpc Оплата зарубежных сервисов и подписок: https://ugolokpc.ru/pay.html Мой сервер Project Zomboid: https://reddust.ru/ Сайт канала: https://ugolokpc.ru Поддержать канал (Т-Банк): https://www.tbank.ru/cf/80IkeCQtepx 🎬 Ролик, о котором говорю Собрал сервер на китайском Xeon за 12 000 ₽: https://www.youtube.com/watch?v=CdkrTkTtnow 🧰 Что использовано Модель: Qwen3.8-27B (Unsloth UD-Q2_K_XL, 9,8 ГБ), маленькая модель: Qwen3.5-4B (Q4_K_M) Программа: llama.cpp b11132, режим MTP (draft-mtp) Железо: Xeon E5-2690 v3 на Huananzhi X99-F8 (Proxmox, виртуальная машина на 24 потока), RTX 3080 Ti 12 ГБ, RTX 5080 16 ГБ Энергия: датчик видеокарты (nvidia-smi) и датчик процессора (RAPL), без учёта остального компьютера #нейросети #ИИ #Qwen #llama #RTX5080 #Xeon #RunBotRun

Название:

Свой ChatGPT на сервере за 12 000 ₽? Xeon против RTX 3080 Ti и RTX 5080

Категория:

Разное