Bonsai 27B: Новая ЛОКАЛЬНАЯ ИИ-модель весом всего 4 ГБ

Покупай СhatGPT, Cursor, Claude выгодно, только на ggsel https://ggsel.net/b/DirecodeAI_1 А также подписки на сервисы и соц сети https://ggsel.net/b/DirecodeAI_1_2 В этом видео мы поработаем с новой локальной ИИ-моделью от PrismML -- Bonsai 27B. Это мультимодальная модель на 27 млрд параметров, построенная на базе Qwen3.6 27B. Главная фишка — это первая модель такого масштаба, способная работать на мобильном устройстве. Обычно модель на 27B параметров занимает около 54 ГБ памяти в half-precision. PrismML использовала 1-битное и тернарное (1,58-бит) квантование весов и уменьшила размер до 3,9 ГБ (1-бит вариант для телефонов) и 5,9 ГБ (тернарный вариант для ноутбуков). Технически это работает так: каждый вес сводится к одному знаку (+1/-1) в бинарной версии или к одному из трёх значений в тернарной, а группа из 128 весов делит один 16-битный масштабирующий коэффициент — итого около 1,125 бита на вес в бинарной версии. Установим ее локально через LM Studio, потестируем в создании Телеграм ботов и не только. Ссылки из видео: Hugging Face: https://huggingface.co/prism-ml/Bonsai-27B-gguf LM Studio: https://lmstudio.ai/ ✅ Мои настройки VS Code: https://www.youtube.com/watch?v=dtTF3VrxWZo Bonsai 27B: Новая ЛОКАЛЬНАЯ ИИ-модель весом всего 4 ГБ #python, #python_telegram, #telegram_bot, #aiogram, #телеграм_бот, #питон #чатбот #ии, #нейросеть, #grok, #claude, #gpt5 #локальныеИИ