5 ПРИЧИН ЛОКАЛЬНЫХ LLM

Сэкономлю ВАШЕ время: Причина 1: Вам всегда нужен интернет для работы с онлайн-моделями, а без интернета доступа к ним нет в принципе. Локальная модель готова к работе всегда. Причина 2: Различные ограничения в публичных ИИ-сервисах, например: на окно контекста, даже если модель может больше; на функционал на длину сообщений, и как следствие, необходимость ждать снятия лимита; постоянный байт на платную подписку для расширения возможностей В локальной модели всё ограничено возможностями вашего железа. Причина 3: публичные модели искусственно ограничены и не раскрывают свой потенциал в виду специально введённых ограничений, причём даже на платных тарифах. Ярчайший пример я привёл в видео, где китайская модель QWEN в публичной версии просто отказывается принимать определённый запрос из-за цензурирования, но при этом локальная "аблитерированная" модель не имеет никаких ограничений, что говорит о том, что изначально модель ограничений не имеет, но её возможности и потенциал специально урезают в угоду различных требований. Аблитерация моделей (от англ. abliteration, образованного слиянием слов obliteration — уничтожение и ablation — абляция) — это метод математического удаления цензуры и встроенных ограничений из уже обученных языковых нейросетей (LLM) путем поиска и нейтрализации «вектора отказа» в их внутренних слоях Причина 4: Комплексная и связана с конфиденциальностью, а таже личной и коммерческой тайной публичные модели хранят историю ваших чатов и к ним могут получить доступ сторонние люди (третьи лица, а в случе рабочего проекта - конкуренты) история ваших чатов так или иначе используется для создания цифрового профиля и обучения других моделей, причём вас никто не спрашивает, хотите вы этого или нет чаты и информация из них может быть слита, продана или использоваться для вашей компрометации не идеальная" (читай, дырявая) система безопасности публичных моделей со всеми вытекающими последствиями В случае использования локальных моделей всё хранится только у вас и только от вас зависит конфиденциальность и безопасность вашего использования моделей. Вы можете просто запретить доступ в интернет используемым моделям или контроллировать его при необходимости. Причина 5: Слежка за пользователями и утечка данных, как намеренно, так и не умышленно (пример с селфи пользователей, которые возвращал Chat GPT в ответ на специальный промпт, которые были уж слишком правдоподобными) Причина 6: используя публичные модели, вы надеетесь на сохранность ваших чатов на серверах используемых сервисов, которые: могут в любой момент отключить могут потерять ваши данные могут просто перестать оказывать свои услуги могут просто заблокировать вас или ваш аккаунт без возможности восстановления или копирования данных В случае локальных моделей создание бэкапа зависит только от вас. Я не стал упоминать эту причину в видео, потому что это маловероятная, хоть и возможная ситуация, но она является минимально "негативной" по сравнению с первыми пятью причинами не использовать публичные сервисы. 00:00 — Вступление: почему важно уметь запускать модели локально даже на слабом железе. 00:32 — Причина №1: Отсутствие зависимости от интернета. 00:41 — Причина №2: Лимиты и ограничения бесплатных версий (на примере ChatGPT). 01:15 — Причина №3: Цензура и ограничения публичных моделей. 01:36 — Сравнение: Ответ публичной модели Qwen против локальной на острый вопрос. 06:23 — Разбор «древнего» железа автора: на чем запускаются модели (RTX 3070 8GB). 07:44 — Про «облитерированные» модели без цензуры. 08:14 — Повторение первых трех причин. 11:30 — Причина №4: Безопасность и конфиденциальность переписки. 14:00 — Итоги по первым четырем пунктам. 17:43 — Причина №5: Риск утечки данных в публичных сетях (обсуждение случаев с селфи-камерами). 20:58 — Финальное резюме всех 5 причин и заключение.