Демонстрация «Локальный взлет: распределенный LLM-кластер без облачных цепей. Практическая часть»
Демонстрация «Локальный взлет: распределенный LLM-кластер без облачных цепей. Практическая часть»
Зачем платить за облако, если можно поднять свой LLM на «геймерских» видеокартах? Александр Подмосковный (Flant) шаг за шагом показал, как развернуть распределенный кластер на двух RTX 3060, настроить Kubray и VLLM, подключить OpenWebUI и получить рабочий инференс прямо у себя. #ITElements2025