Bonsai 2 27B: локальная модель, которая удивила меня 5 задачами подряд

Мое закрытое сообщество https://amorev.ru/promo Мой ИИ-провайдер https://ai.wormsoft.ru. Мой Telegram-канал https://t.me/gmoreva Bonsai 2 27B: по сути переквантованный плотный Qwen 27B с тернарными весами, сжатый до ~7 ГБ. Саму модель реально уместить даже в 8 ГБ, я тестировал в честном сценарии — 16 ГБ видеопамяти (отсечка на 3090 и связка из двух P104-100 — дров по 2000 рублей). Заявляют 98% качества оригинала — в контексте моих задач это близко к правде. Год назад с 16 ГБ видеопамяти можно было только плакать — GPT-OSS 20B на 120–150К контекста, туповатый и бестолковый. Сейчас ситуация кардинально другая: модель на 30–35 токенах в секунду решает боевые задачи моего провайдера — и с каждой следующей задачей я удивлялся всё больше. Минус один: видеокарты от этого дешеветь не будут, скорее наоборот (3090 в Москве уже под сотку). Но факт приятный: всё более умные модели занимают всё меньше памяти и летают на потребительском железе. Таймкоды: 00:00 Введение 00:37 Что это за модель? 03:33 Первая задача. Кастомные хедеры 05:30 Вторая задача. Фикс MCP 07:12 Третья задача. Поиск по чатам 10:57 Четвертая задача. Инструмент "add_mcp" 13:09 Слабый Vision 14:12 Пятая задача. Доработка саппорта 17:19 Итоги