Методика
- 01Результат
- 02Параметры
- 03Подбор GPU
- 04Память
- 05Скорость
- 06Экономика
- 07Модели
- 08GPU
- 09Public API
- 10Точность и источники
01Результат
Калькулятор оценивает себестоимость 1M input- и 1M output-токенов, стоимость одного запроса и расходы в месяц для выбранной модели, нагрузки и GPU. Расчёт выполняется полностью в браузере. Веса моделей не скачиваются, ссылки на источники открываются только по нажатию.
Общие расходы делятся между input и output пропорционально расчётному времени prefill и decode на одном и том же оборудовании. Это условное распределение себестоимости, не измерение отдельных расходов и не тариф API. Input и output одного запроса в сумме дают его полную себестоимость без двойного учёта.
Целевая скорость — требование для подбора, а не ограничитель выпуска. Экономика использует всю расчётную производительность выбранной конфигурации при заданных сессиях.
Три метрики скорости
- Генерация при типичной нагрузке — decode на длине типичного пакета: средние запросы плюс доля длинных. С ней сравнивается целевая скорость, её показывает результат.
- Генерация на средней нагрузке — decode на длине input + output / 2.
- Средняя скорость с учётом input — 1 / (t_decode + t_prefill / output). По ней рассчитывается выпуск токенов.
Время prefill рассчитано для одновременного старта сессий наиболее загруженной реплики. Это не P95 TTFT и не прогноз времени в очереди.
При нескольких репликах скорость — минимум по репликам, а суммарный выпуск — сумма их производительности с фактическими целыми batch. Поэтому при неравном числе сессий нельзя просто умножить минимальную скорость на все сессии.
Не моделируются паузы пользователей, prefix caching, speculative decoding и DSpark, offload, раздельные prefill- и decode-пулы, мультимодальная обработка, точный tensor placement, микробатч-планировщик, баланс экспертов и сетевые очереди.
02Параметры
- Контекстное окно
- Лимит input + output каждой сессии. Запрос на всё окно должен поместиться в одну реплику. 1K = 1 024 токена, 256K = 262 144. Окно больше, чем в model card, помечается как условное.
- Длинные запросы
- Доля сессий, которые одновременно заняли окно целиком, по умолчанию 10%. Остальные сессии считаются средними запросами длиной input + output. KV-cache растёт с длиной линейно, поэтому такая смесь равна сессиям эффективной длины: среднее + доля × (окно − среднее). На этой длине проверяются память и скорость. При 100% расчёт совпадает с прежним, где все сессии заполняют окно.
- Input и output на запрос
- Средние длины одного запроса. Output включает токены reasoning, если модель их генерирует. Они задают средний поток завершённых запросов с prefill и decode и длину типичных сессий при подборе.
- Одновременные сессии
- Активные запросы, по одному на сессию, без пауз пользователя.
- Скорость генерации
- Минимальный decode на сессию при типичной нагрузке, без поступления новых input. Prefill, очередь и TTFT при подборе не проверяются.
- Загрузка
- Доля 730 часов месяца, в течение которой действует заданная нагрузка. Остальное время сервер включён: при покупке он потребляет мощность простоя, при аренде оплачивается без выпуска токенов. Это модель чередования нагрузки и простоя, а не прогноз случайного потока запросов и не показатель NVIDIA-SMI. При 0% токены не производятся, стоимость токена не определена, фиксированные расходы сохраняются.
- Стоимость узла
- Восемь GPU и сервер. Стартовое значение — пример бюджета, не рыночная котировка. При смене GPU цена сохраняется, её нужно заменить своей.
- Размещение и энергия
- Размещение, электричество, PUE, потребление в простое, мощность GPU и сервера — редактируемые допущения. Мощность GPU по умолчанию берётся из пресета выбранной карты. PUE — отношение энергии всего ЦОДа к энергии серверов. Он учитывает охлаждение и питание здания, весь расход электричества умножается на него. При стартовых ценах электричество — около 5% месячных расходов, поэтому PUE слабо влияет на цену токена. Если электричество включено в размещение, оно не добавляется повторно. Цены, PUE и потребление сервера нужно заменить своими данными.
- Аренда
- Загрузка влияет на выпуск токенов, но не уменьшает счёт за оплаченные часы. При аренде целыми узлами ставка всё равно указывается за одну GPU. CPU, RAM, электричество и охлаждение считаются включёнными в ставку. Хранилище, трафик и прочие расходы указываются отдельно. Аренда отдельных GPU предполагает нужную связность TP и PP, её доступность нужно проверить у провайдера.
- Эффективность
- Доля паспортной производительности compute, HBM и сети, которую получает runtime. Это редактируемые инженерные допущения без benchmark-калибровки. Они не связаны с загрузкой.
- Резерв памяти
- Доля HBM под workspace, CUDA graphs и фрагментацию. Вычитается один раз.
- Валюта
- 90 ₽/$ — условный стартовый курс. При смене валюты или курса сохраняется долларовый эквивалент введённых сумм. Обновления курса из интернета нет.
03Подбор GPU
Одна реплика — одна полная копия модели. TP делит тензоры внутри группы до 8 GPU, PP делит слои между группами, DP добавляет независимые реплики.
Для каждой GPU калькулятор ищет минимальное число серверов по 8 GPU, при котором одновременно:
- веса модели помещаются с резервом,
- запрос на всё окно помещается в одну реплику,
- хватает памяти под все сессии типичной нагрузки,
- каждая сессия при типичной нагрузке получает не меньше целевой скорости.
Среди схем с минимальным числом серверов выбирается та, что выпускает больше всего токенов. Обычно она задействует все GPU этих серверов. При аренде отдельных GPU сравнивается выпуск на одну оплаченную GPU. Это не поиск минимальной рыночной цены: цены серверов с разными GPU калькулятор не сравнивает.
Перебираются TP 1, 2, 4, 8 и PP-группы до предела подбора, по умолчанию 256 GPU на реплику. Общий кластер может быть больше за счёт реплик. Число реплик не превышает число сессий, запросы распределяются целыми числами без фиктивных сессий.
Несколько небольших реплик могут делить один узел. Если часть карт всё же остаётся без работы, они остаются в стоимости и потребляют мощность простоя.
Ручная схема
Можно задать число узлов и реплик. На реплику берётся наибольшая допустимая группа, 1, 2, 4, 8 или кратная 8 GPU, которая помещается в выбранные узлы. Если памяти или скорости не хватает, калькулятор предупреждает об этом.
Ограничения профиля
Память проверяется на наиболее заполненной GPU, а не по сумме HBM. PP учитывается с приближённым коэффициентом неравномерности слоёв и потерей времени на заполнение конвейера. При одной сессии PP не даёт идеального ускорения от дополнительных стадий. EP и раздельные prefill- и decode-пулы не перебираются.
A100 не имеет нативного FP8-профиля в этом расчёте. FP4-модели DeepSeek-V4-Pro и Kimi K3 оцениваются только на B200 и B300. Альтернативные пути W8A16 и W4A16 возможны, но здесь не калиброваны. Это ограничения расчёта, а не утверждение, что другие способы запуска невозможны.
Все конфигурации требуют benchmark-проверки. У DeepSeek-R1 официальное окно 128K. Окно больше — эксперимент за пределами model card, а не обещание совместимости или качества.
04Память
KV-cache фиксирован в BF16, 2 байта на элемент. Выбор формата в интерфейсе не предусмотрен.
Объём весов — metadata.total_size из индекса Safetensors закреплённой ревизии, включая дополнительные модули checkpoint. Исключение — R1, оно описано ниже. Объём весов не равен пиковому потреблению runtime. Все размеры нормализованы в десятичные GB (10⁹ байт).
Для расчёта вместимости используется длина типичного пакета, для decode в экономике — средняя длина input + output / 2. Резерв вычитается из HBM один раз. Вместимость проверяется на наиболее заполненной GPU. Свободная память других реплик не компенсирует её переполнение.
Особенности моделей
Qwen: KV для 23 full-attention слоёв плюс постоянное состояние 69 Gated DeltaNet слоёв (FP32 recurrence).
GLM: сжатый MLA-cache и индекс DSA. Cache консервативно реплицируется между GPU внутри узла.
DeepSeek-V4-Pro: приближение compressed attention по коэффициентам config, sliding window 128 и index-cache. Компрессионные буферы включены приближённо. Для новых архитектур необходима проверка фактического cache-layout движка.
DeepSeek-R1: полный MLA-cache, 61 × (512 + 64) элементов на токен, без DSA-индекса и sparse attention. Кэш реплицируется внутри TP-группы. Attention FLOPs приближены через QK = 192 и V = 128, оптимизации absorbed MLA отдельно не моделируются. Вес 688 586 727 753 байта — сумма размеров 163 FP8 Safetensors-файлов в закреплённом списке файлов HF, включая заголовки и неисполняемый MTP. Индекс этой ревизии сообщает 1 369 062 772 000 байт, что не согласуется с FP8-файлами, поэтому его total_size для R1 не используется.
Kimi K3: 2,8T и 104B активных из model card. Конфигурация содержит 93 слоя, из них 69 KDA и 24 Gated MLA, 896 экспертов с top-16 routing. Веса 1 560 860 324 864 байта — metadata.total_size закреплённой ревизии, включая vision. Рассчитываются только текстовые запросы. MLA-cache приближён как 24 × (512 + 64) × BF16 на токен с репликацией внутри TP-группы. Это предположение об оптимизированном serving, а не расширенный K/V-cache из HF reference. KDA-state — 69 × 96 × 128² элементов FP32 плюс три convolution-буфера длины 4 в BF16, с идеальным шардированием по головам. Decode учитывает чтение и запись state. KDA recurrence FLOPs ≈ 6 × 69 × 96 × 128² на токен, коэффициент — инженерное приближение. Attention Residuals и временные буферы отдельно не моделируются и требуют проверки резерва runtime.
05Скорость и MoE
U(B) оценивает долю уникальных экспертов при независимом равномерном routing. Распределение слоёв PP учитывается приближённо через наиболее заполненную стадию. Tensor placement и баланс экспертов требуют проверки. Весовой трафик разделён на общие и экспертные веса по приближённой активной доле модели. FLOPs линейных слоёв ≈ 2 × активные параметры × токены. Attention добавляется отдельно на BF16-скорости, индексирование — с консервативной надбавкой.
Пропускная способность и dense Tensor FLOPS умножаются на заданные коэффициенты эффективности. Для FP4 и FP8 DeepSeek используются разные скорости для экспертной и общей части. MoE sparsity не даёт права использовать NVIDIA 2:4 sparse FLOPS.
Связь — TP-коллективы внутри узла и передача активаций между PP-стадиями. EP не используется, отдельный expert all-to-all не добавляется. Внутри узла учитывается однонаправленная половина NVLink, между узлами — указанная сеть на GPU. PP использует приближение заполнения конвейера 1 + (PP − 1) / batch. Межузловое масштабирование особенно нуждается в benchmark-калибровке.
Профиль runtime условно соответствует современному GPU-serving с batching. Это не измерение конкретной версии vLLM или TensorRT-LLM.
Kimi: routed experts используют MXFP4, общие слои — BF16. Около 48,62B активных routed-параметров получено как 92 × 3 × 3584 × 3072 × 16, остаток от 104B отнесён к общим операциям. Доля общих байтов около 7,33% оценена по BF16 и FP32 метаданным HF. Это приближение включает небольшую неисполняемую vision-часть. Для MXFP4 и MXFP8 скорость экспертов консервативно ограничена dense FP8 peak выбранного Blackwell, без предположения о полной скорости FP4 × FP4. B200 и B300 — граница этого профиля, W4A16, dequant и другие GPU не оценены.
06Экономика
Input и output показаны раздельно: стоимость output не включает долю prefill. Сумма обеих частей запроса равна полной себестоимости запроса, а месячные доли в сумме покрывают весь бюджет без двойного учёта.
Общие затраты, включая простой и энергию, распределяются по долям расчётного времени prefill и decode на одном и том же оборудовании. Это бухгалтерское допущение, а не независимые измерения энергопотребления фаз и не расчёт раздельных пулов серверов. Стоимость делится поровну между одинаковыми репликами, включая резервную мощность.
Амортизация линейная, остаточная стоимость нулевая. Налоги, финансирование, персонал и прибыль не включены. При нехватке памяти или неподдержанном профиле токены не прогнозируются, но расходы остаются видимыми.
07Модели
| Модель | Формат | Всего | Активных | Веса, GB | Окно | Checkpoint |
|---|
Активные параметры: Qwen — 95B из model card, GLM — приближение 40B из базовой архитектуры GLM-5, DeepSeek-V4-Pro — 49B, без активации DSpark. Полный resident checkpoint сохранён в оценке памяти. Для GLM и DeepSeek это архитектурные приближения, а не пересчёт активных тензоров новой ревизии.
08GPU
| GPU | Память, GB | HBM, TB/s | Dense BF16 / FP8 / FP4, TFLOPS | Мощность, W | Источник памяти |
|---|
VRAM проверена 09.09.2026: A100 PCIe и SXM 80 GB, H100 PCIe и SXM 80 GB (не NVL 94 GB), H200 141 GB, B200 180 GB, B300 288 GB. Значения пресетов используются как десятичные GB для планирования. Это не измеренная свободная память. Резерв runtime вычитается отдельно и один раз. На реальном сервере сверяйте memory.total драйвера: MiB × 1 048 576 / 10⁹ = GB.
В документах NVIDIA встречается и B300 270 GB. Здесь выбран профиль HGX reference architecture 288 GB, без неподтверждённого объяснения разницы через ECC и без дополнительного вычета до 270 GB. Пропускная способность HBM у B300 оставлена консервативной: 7,7 TB/s из datasheet при до 8 TB/s в HGX reference.
Для H100, H200 и B200 данные HBM взяты из NVIDIA HGX reference architecture, dense FLOPS — половина sparse-спецификации. Мощность — стартовое допущение, её можно изменить в дополнительных параметрах. Совместимость реального сервера необходимо уточнять у поставщика.
09Public API в РФ
В результатах калькулятора себестоимость запроса сравнивается с ценой такого же запроса у поставщиков public API в России. Для каждой модели приведены проверенные предложения поставщиков. Это срез цен на , сам он не обновляется.
Цены сравниваются без НДС, если поставщик его указывает. MWS и Cloud.ru публикуют цены с НДС 22%, ProxyAPI — с НДС 5%. RouterAI и AITunnel ставку не указывают, их цены взяты как опубликованы. Себестоимость калькулятор считает в долларах и переводит в рубли по курсу из настроек. Курс ЦБ на дату среза — ₽/$.
Облако РФ запускает модель на своих GPU в России. Агрегатор перепродаёт API зарубежных провайдеров, и его рублёвая цена следует за долларовой ценой провайдера и курсом. RouterAI выбирает провайдера сам, сначала по доступности, затем по цене. В таблице зафиксирован конкретный маршрут. Его название и цена указаны на дату проверки.
Для исходного DeepSeek-R1 оставлена опубликованная цена ProxyAPI. RouterAI снял эту модель с обслуживания, а AITunnel использует алиас R1-0528. В тарифе Cloud.ru модель называется DeepSeek-V4-Pro без указания ревизии, в калькуляторе выбрана 0813. Для MWS и Cloud.ru используется базовый тариф, ночные цены указаны в примечаниях.
| Модель | Поставщик и модель | Тип | Input, ₽ | Output, ₽ | НДС | Окно | Тариф и источник |
|---|
Цены за 1M токенов в том виде, как они опубликованы, вместе с НДС, если он указан. Для страниц без даты указана дата проверки.
10Точность и источники
Здесь нет обещания «±5%». Совпадение с эталоном требует калибровки на конкретном serving runtime, а калькулятор использует один аналитический движок без неё.
Ege Erdil · Inference economics
Основа roofline-оценки, GPU-seconds на токен, batching, MoE и сетевых ограничений. Здесь упрощённая адаптация, не воспроизведение всех формул статьи.
Splitwise · ISCA 2024
Разные характеристики prefill и decode — основание считать их по отдельности.
LLMCompass · ISCA 2024
Средняя ошибка 4,1% для LLM-инференса в их validation. Это детальный симулятор и конкретные конфигурации, а не точность этого калькулятора.
Vidur · MLSys 2024
Profiling и predictive model. Proceedings сообщает менее 5%, arXiv v2 — менее 9% для latency. Нужна привязка к версии и метрике.
Sarathi-Serve · DistServe
Планирование и latency SLO меняют достижимую производительность. Общий tok/s не заменяет goodput.
vLLM: optimization · parallelism · quantization · TensorRT-LLM
Совместимость, serving и измерения. Коэффициенты калькулятора — допущения, а не извлечённые benchmark-результаты этих движков.