33 VMware: Освоение токеномики и FinOps с помощью VMware Cloud Foundation

Частное облако оправдывает свои экономические ожидания только тогда, когда ИТ-команды активно управляют мощностью, оптимизируют ресурсы и обеспечивают оперативную прозрачность. Без надлежащего управления избыточное выделение ресурсов и «теневые» мощности могут быстро свести на нет финансовые преимущества локальной инфраструктуры. Эта сессия, ориентированная на практику, подробно рассматривает, как создать операционную практику FinOps непосредственно в VCF. Мы отходим от высокоуровневых калькуляторов ROI и сразу переходим к консоли, чтобы продемонстрировать реальное управление токеномикой, высвобождение ресурсов, автоматизированные политики оптимизации размеров, оптимизацию размещения рабочих нагрузок, а также системы учета и распределения затрат. Архитекторы и системные администраторы получат четкие, действенные методы для устранения облачных потерь, оптимизации плотности ядра и управления высокоэффективной частной облачной платформой, которая окупается со временем. Камеш Субраманиан, руководитель отдела управления продуктами VCF Operations, описал путь развития клиента, состоящий из этапов оценки, оптимизации и планирования. На этапе оценки встроенный механизм расчета стоимости вычисляет общую стоимость владения, используя предварительно загруженные драйверы для оборудования, помещений, рабочей силы, лицензий и технического обслуживания, которые клиенты могут корректировать для получения собственных скидок. Оптимизация превращает возвращаемые ресурсы в денежные суммы, и он рассказал, как крупная авиакомпания добилась возврата неиспользованных мощностей подразделениями только после того, как отправила каждому руководителю «позорный» счет, показывающий, что за месяц было потрачено полмиллиона долларов впустую. Более зрелые организации переходят к использованию системы «показательного возмещения» или «возмещения затрат» с помощью тарифных планов, которые поставщики услуг могут рассчитывать с точностью до секунды, в то время как планирование охватывает инфраструктуру, рабочую нагрузку и сценарии миграции, которые преобразуются как в мощность, так и в стоимость. По его словам, эта потребность возросла в связи с недавними колебаниями цен на оборудование. Субраманиан объяснил, что факторы, влияющие на стоимость, суммируются в базовые тарифы за единицу, поэтому любая услуга, будь то виртуальная машина, кластер Kubernetes, база данных или балансировщик нагрузки, может оцениваться так же, как и экземпляр публичного облака, а схемы VCF Automation показывают их стоимость до развертывания. Отвечая на вопросы участников, он сказал, что расходы можно отслеживать в сравнении с прогнозами и бюджетами, используя спецификацию FOCUS от FinOps Foundation и пользовательские метрики на любом организационном уровне, и что базовые тарифы пересчитываются ежедневно, а динамические пороговые значения оповещают администраторов только тогда, когда изменения в оборудовании существенно изменяют затраты. Затем он перешёл к теме ИИ, отметив, что Broadcom является одним из основателей Фонда токеномики Linux Foundation. Он разделил токеномику на уровни: команды инфраструктуры, максимизирующие использование графических процессоров; новая роль оператора ИИ, выбирающего поставщиков и модели, маршрутизирующего запросы и устанавливающего лимиты в токенах или долларах; команды приложений, управляющие потреблением; и уровень реализации ценности, проверяющий, действительно ли расходы на ИИ влияют на бизнес, что один из благотворительных клиентов измеряет количеством беженцев, которым он может помочь. Один из делегатов назвал это лучшим анализом токеномики, который они когда-либо видели. В ходе живой демонстрации Субраманиан показал общую стоимость среды с потенциальной экономией, специальный анализ затрат на виртуальные машины и кластеры за двенадцать месяцев в более чем ста валютах, а также сравнения, например, кластеров ИИ с традиционными кластерами. Он предупредил, что потенциальная экономия часто отличается от фактической экономии, поскольку такие политики, как обязательное хранение снимков, ограничивают то, что можно фактически вернуть, и что совокупные показатели экономии могут стать показателем тщеславия. Демонстрация также охватывала анализ факторов, влияющих на затраты, возможности возмещения затрат по типам ресурсов и представления данных о возмещении затрат по организациям и проектам, а также отслеживание квот и бюджета с помощью VCF Automation. Что касается ИИ, он показал метрики наблюдаемости, такие как время до получения первого токена и задержка P95, связанные с потреблением токенов для каждой модели и каждого запроса, выявив, что некоторые внутренние эксперименты по генерации кода из файлов Markdown длились часами и потребляли огромное количество токенов. В заключение он показал представления агентов, которые сопоставляют агентов, субагентов, модели и вызовы инструментов для отслеживания пиков расходов, утверждая, что сочетание наблюдаемости с затратами на токены дает всем, а не только команде FinOps, финансовую грамотность, нео...