Тёплый кэш и экономика инференса без простоя
Почему выделенные GPU-серверы простаивают большую часть суток, а обычный serverless заставляет ждать холодного старта. Разбираем, как устроен трёхуровневый жизненный цикл моделей в NeuroHub и за что вы реально платите.
Куда уходит бюджет при аренде GPU?
Утилизация выделенного сервера при реальном пользовательском трафике
Простой вне пиков
Пиковая нагрузка обычно занимает несколько часов в сутки. Остальное время арендованный узел работает вхолостую, но оплачивается по полной.
Дилемма «холодный старт vs деньги»
Если гасить серверы (обычный serverless), загрузка весов LLM из диска в VRAM занимает десятки секунд. Пользователь уходит. Если держать всё горячим — платите за воздух.
Подход NeuroHub: 3 уровня
Состояние модели живёт на трёх уровнях: Hot (VRAM), Warm (RAM хоста), Dormant (NVMe). В режиме Warm VRAM освобождена, а веса остаются в памяти хоста — первый запрос обслуживается за секунды, без оплаты простаивающего GPU.
Как работает трёхуровневый оркестратор
Оркестратор управляет жизненным циклом развёртываний и переводит модель между уровнями в зависимости от спроса.
Активный инференс
Модель загружена в VRAM GPU (llama.cpp / vLLM). Запросы обслуживаются сразу, время до первого токена — десятки миллисекунд.
Тёплый резерв в RAM
Когда запросов нет, развёртывание усыпляется: VRAM освобождается, но процесс и веса остаются в оперативной памяти хоста. Следующий запрос поднимается до готовности за секунды, без чтения с диска и без удержания GPU.
Холодное хранилище
Редко используемые веса лежат на локальном NVMe узла. При холодном старте оркестратор поднимает контейнер, пока пользователь видит оценочное время ожидания (ETA) в интерфейсе.
Предпрогрев предсказательный: если по модели идёт устойчивый спрос (несколько запросов за окно), планировщик заранее поднимает развёртывание в тёплый уровень, чтобы следующие запросы не ждали. Автор также может закрепить модель «всегда тёплой» на ограниченный срок.
За что вы платите на NeuroHub
Вместо аренды простаивающего сервера — оплата строго за выполненные токены. 1 кредит = $1 (USD).
| Модель развёртывания | Оплата | Простой | DevOps |
|---|---|---|---|
| Выделенная GPU ВМ | Почасовая аренда | Оплачивается весь простой | Высокая (CUDA, Docker) |
| Обычный serverless | По запросу | Холодные старты: десятки секунд | Средняя (правила скейлинга) |
| NeuroHub | Строго за токены | VRAM не удерживается | Нулевая (готовый API-ключ) |
Ориентировочные характеристики уровней зависят от модели, оборудования и конфигурации узла. Итоговая цена инференса рассчитывается платформой и отображается до запуска.
Убедитесь в скорости лично
Модели в каталоге уже развёрнуты на кластере и доступны через интерактивный чат, playground и единый OpenAI-совместимый API с прозрачной оплатой за токены.