Token Economics

Часть 2 · 7 мин

Экономика токенов

Обработка токенов требует вычислений, а они, в свою очередь, электричества и инфраструктуры. Эти затраты во многом и определяют себестоимость.

Теория

2.1Инфраструктура

На входе в LLM токены превращаются в векторы. У Qwen3-8B кадлый вектор это список из 4 096 чисел. Вход из 1 000 токенов образует таблицу 1 000 × 4 096 — около 4 млн чисел — матрицу. Параметры моделей также хранятся в виде матриц.

Практика

2.1Инфраструктура

TBD

В процессе обработки внутри LLM эта матрица 1 000 × 4 096 умножается и складывается с другими матрицами, в которых хранятся параметры модели. Обработка 1 000 токенов в Qwen3-8B требует порядка 14 трлн арифметических операций, а генерация каждого следующего — еще 14 млрд.

Для большинства стандартных операций на компьютере использхуется CPU — центральный процессор (его специально делают максимально универсальным, для решения разных задач). LLM чаще всего запускают на GPU, графических процессорах, которые содержат много блоков для одновременных похожих лпераций с матрицами. LLM возможно запускать на CPU, но GPU при подходящей нагрузке справляется значительно быстрее.

Сколько перемножений нужно для одного токена?

У Qwen3-8B 36 слоёв обработки. В каждом четыре основных проекции для внимания и три для преобразования представлений. Это 7 × 36 = 252 преобразования с матрицами параметров. Ещё по два матричных произведения на слой обрабатывают связи между токенами: 72. Всего — 324 крупных операции на уровне математической схемы, без выходной проекции и других действий. S44

Это не число команд GPU. Программа может объединять вычисления. Attention-группы здесь считаются вместе. Для нового токена часть произведений становится умножением строки на матрицу.

Размеры основных матриц: 4 096 × 4 096, 4 096 × 1 024, 4 096 × 12 288. Последняя содержит около 50 млн чисел. Семь проекций всех слоёв требуют примерно 6,95 млрд умножений и столько же сложений на токен — около 13,9 млрд операций. Работа со связями между токенами и выходная проекция считаются дополнительно. S42, S44

Для 1 000 входных токенов только эти проекции дают около 13,9 трлн операций. Это расчёт по конфигурации, не замер скорости. При генерации с кэшем весь прежний текст не пересчитывается заново.

2.2Эволюция GPU

Для сравнения производительности GPU используют термин FLOPS — число арифметических операций в секунду. Например, пиковая производительность одного GPU в FP16 Tensor Core без разреженности:

Практика

2.2Эволюция GPU

TBD

GPUТриллионов операций в секунду
V100 SXM2125
A100 SXM4312
H100 SXMоколо 990

По этому показателю разница между V100 и H100 — примерно 7,9 раза. Скорость генерации не обязана вырасти настолько же: ограничением может оказаться передача данных из памяти. Это примеры поколений, не полный ряд. S33, S04

GPU потребляет электричество и выделяет тепло. Для A100 80GB SXM стандартная мощность — 400 Вт, предел H100 SXM достигает 700 Вт. У сервера DGX H100 с восемью GPU максимальная мощность всей системы составляет 10,2 кВт. Это пределы спецификации, не среднее потребление каждого запроса. S03, S04, S21

Более мощное устройство может тратить меньше энергии на задачу, если выполняет её достаточно быстрее. Поэтому эффективность оценивают по расходу на выполненную работу.

Что означает точность вычислений?

Одно и то же число можно записать с разной точностью. Например, 3,14 — более грубое приближение числа π, чем 3,14159265. Во втором случае сохранено больше цифр, поэтому ошибка округления меньше.

В компьютере числа записываются в двоичном виде. Принцип тот же: более точная запись позволяет лучше различать близкие значения. FP16 использует 16 бит на число, FP32 — 32 бита. Это не фиксированное число знаков после запятой: точность зависит и от величины числа. Пример с π выше показывает только принцип.

Более короткая запись занимает меньше памяти. У Qwen3-8B около 8,2 млрд параметров: их хранение в 16 битах требует примерно 16,4 ГБ, а в 32 битах — 32,8 ГБ. Это только параметры: во время работы нужна дополнительная память для контекста и промежуточных данных.

На подходящем оборудовании менее точные вычисления могут выполняться быстрее. Но формат должен сохранять достаточное качество модели. Поэтому производительность разных GPU сравнивают при одной точности. На нашем графике используется FP16. S20

Уточнение к графику: Tensor Core — блоки для матричных операций. Разреженный режим позволяет пропускать часть операций с нулями. Он здесь исключён. Число H100 около 990 получено из опубликованных 1 979 TFLOPS с разреженностью с учётом двукратного ускорения этого режима и округлено.

2.4Охлаждение

GPU устанавливают в серверы, серверы — в стойки внутри ЦОДа. Один DGX H100 содержит 8 GPU. Четыре сервера дают до 40,8 кВт суммарной мощности. Почти вся потреблённая электроэнергия в итоге превращается в тепло, которое нужно отвести. S21

Практика

2.4Охлаждение

TBD

При воздушном охлаждении тепло уносит поток воздуха. При жидкостном его забирает жидкость, проходящая через охлаждающие пластины у чипов, и передаёт системе здания. Это позволяет отводить тепло от плотно размещённых компонентов. S45

Охлаждение — отдельная часть инфраструктуры: вентиляторы, насосы и теплообменники требуют места, энергии и обслуживания.

Как устроен путь тепла от чипа наружу?

При воздушном охлаждении вентиляторы проводят воздух через радиаторы, а система здания отводит нагретый воздух. Холодные и горячие потоки разделяют, чтобы серверы не втягивали собственный горячий выхлоп.

При прямом жидкостном охлаждении к чипу прижимают металлическую пластину с каналами. Жидкость забирает тепло и поступает к теплообменнику. Там оно передаётся контуру здания, который выводит его наружу. Электроника при этом не обязана быть погружена в жидкость. Воздух и жидкость могут использоваться вместе. S45

Жидкостное охлаждение не означает, что вся циркулирующая вода расходуется. В закрытом контуре она используется повторно. Потребление воды системой здания зависит от способа окончательного отвода тепла.

2.5Сети

Если модель работает на нескольких GPU, им нужно передавать промежуточные результаты. Быстрый ускоритель может простаивать, ожидая данные от соседнего. Поэтому важны и скорость вычислений, и скорость обмена.

Практика

2.5Сети

TBD

Внутри DGX H100 соединения GPU обеспечивают до 900 ГБ/с. Между серверами используются отдельные сетевые интерфейсы. Это не интернет-канал пользователя. S21

Для Qwen3-8B на одном GPU такой обмен между ускорителями не нужен. Но сеть всё равно доставляет запросы, документы и ответы. При распределённой модели она становится частью самих вычислений.

Почему бы не соединить всё обычным интернетом?

Когда одна модель разделена между GPU, части вычисления должны регулярно обмениваться промежуточными данными. Медленный обмен заставляет ускорители ждать. Для этого используют быстрые соединения внутри сервера и специализированные сети между серверами.

В DGX H100 указаны соединения между GPU до 900 ГБ/с и сетевые карты с портами до 400 Гбит/с. Это разные уровни связи и разные единицы: ГБ/с — байты, Гбит/с — биты. Числа описывают интерфейсы, а не гарантированную скорость любого запроса. S21

Qwen3-8B можно разместить на одном GPU с достаточной памятью для весов, контекста и рабочих данных. В таком запуске распределять один запрос между несколькими GPU не требуется. При большом потоке можно запускать отдельные копии модели. Это другой режим, чем совместная обработка одной большой модели.

2.6География

Место выбирают с учётом электричества, охлаждения, связи и требований к хранению данных. Близость к пользователю уменьшает задержку передачи, но её значение зависит от задачи. S23

Практика

2.6География

TBD

В условном примере дополнительные 0,1 секунды увеличивают ожидание 30-секундного саммари всего на 0,3%. Для голосовой реплики с обработкой за 0,2 секунды прибавка составляет уже 50%.

Для долгого reasoning и фоновой обработки близость ЦОДа может быть менее важна, чем для быстрого диалога. При последовательных вызовах инструментов задержки складываются.

Какие задержки всё равно нужно учитывать?

При последовательных обращениях задержки складываются. Если агент вызывает удалённый инструмент 20 раз, дополнительные 0,1 секунды на каждый полный обмен дают уже 2 секунды. Параллельное выполнение может сократить ожидание.

Доступность электричества не отменяет остальных требований: пропускной способности внешних каналов, надёжности, правил размещения данных и допустимого времени ответа. Их оценивают вместе для конкретной нагрузки.

2.7Бизнес-модели

Работа обученной модели называется инференсом. Получить её можно тремя способами:

Практика

2.7Бизнес-модели

TBD

  • API: оплачивать обработанные токены. Провайдер запускает модель и обслуживает инфраструктуру.
  • Аренда: оплачивать время сервера и самостоятельно организовать работу модели.
  • Покупка: приобрести сервер и оплачивать его размещение, электричество, охлаждение и обслуживание.

При небольшом или непредсказуемом потоке API часто удобнее: нет собственного простаивающего сервера. При устойчивой загрузке аренда может снизить расходы. Покупку имеет смысл сравнивать при длительной предсказуемой работе, когда стоимость оборудования распределяется на большой объём задач.

Но это не обязательная последовательность. Дешёвый API может оставаться выгоднее своего сервера даже при большой нагрузке. Для сравнения нужны одинаковая Qwen3-8B, качество, скорость, длина запросов и учёт сопровождения. Кроме общего объёма важны пики и простои. S46

Как совместная обработка запросов снижает расходы?

Батчинг — обработка нескольких запросов вместе. GPU получает больше параллельной работы, а данные модели могут использоваться для нескольких запросов за один этап вычислений. Это помогает повысить общий объём обработки. S24

Скорость всего сервера и скорость одного ответа различаются. В условном примере один запрос получает 100 токенов в секунду. При одновременной работе десяти запросов каждый получает по 40: общий поток равен 400 токенам в секунду. Производительность сервера выросла в четыре раза, хотя отдельный ответ генерируется медленнее. Это учебные числа, не результат замера GPU.

Большая группа требует памяти под несколько контекстов. Если система специально ждёт новые запросы для формирования группы, добавляется задержка. В других схемах новые запросы подключаются по мере освобождения ресурсов. Подход выбирают с учётом нагрузки и допустимого ожидания.

График: когда меняется выгодный способ запуска?
API, аренда или свой серверУсловная схема растущих месячных затрат при стабильной нагрузке. API растёт с объёмом; аренда и покупка включают постоянную часть. Линии могут пересекаться, но реальный порядок зависит от цен и эксплуатации.API, аренда или свой сервер: как влияет загрузкаОдин возможный сценарий. Без рыночных цен и реальных порогов окупаемости.Здесь дешевле APIДешевле арендаДешевле свой серверСтабильный месячный объём одинаковых задач →Полные месячные расходы →API: оплата обработанных токеновАренда: сервер зарезервирован на месяцПокупка: стоимость за срок службы + эксплуатацияОдна модель и одинаковые требования. Линии условные; в реальности могут не пересечься.Показан участок до предела мощности сервера; затем может потребоваться ещё одна машина.

По горизонтали растёт стабильный месячный объём одинаковых задач. По вертикали — полные месячные расходы. На схеме используется один модельный сценарий: одна Qwen3-8B, фиксированные длины входа и выхода, одинаковые требования к качеству и скорости. Арендованный сервер зарезервирован на месяц. Покупка учитывается через распределённую стоимость оборудования и эксплуатацию.

API: расход токенов × тарифы входа и выхода. Аренда: оплаченные часы сервера + хранение, сеть и сопровождение. Покупка: стоимость сервера за вычетом остаточной стоимости, распределённая на срок службы, + электричество, охлаждение, размещение, ремонт и сопровождение.

Линии и точки пересечения условные. В реальном проекте они могут идти в другом порядке или не пересечься. Аренду можно выключать или масштабировать. Скидки API меняют наклон его линии. Если одной машины уже не хватает, затраты на оборудование растут ступенью. На рисунке показан участок до этого предела. S46

Месячной суммы токенов недостаточно. Ровная нагрузка лучше загружает оборудование, чем редкие пики. Одинаковые токены при разном соотношении входа и выхода требуют разной работы. Расчёт окупаемости покупки дополнительно учитывает срок использования, денежный платёж в начале и риск устаревания.

2.8Почему вход, выход и кэш стоят по-разному

При чтении статьи весь вход уже известен: многие вычисления можно выполнять одновременно. При обычной генерации плана поездки следующий токен зависит от предыдущих, поэтому ответ создаётся последовательно.

Практика

2.8Почему вход, выход и кэш стоят по-разному

TBD

Кэш позволяет повторно использовать обработку совпадающего начала контекста, например той же статьи в следующем вопросе. Он уменьшает часть вычислений, но не заменяет новый ответ старым. Эти различия помогают объяснить разные тарифы входа, выхода и кэша. S24

Что означают prefill и decode?

Prefill — обработка уже известного входа. Система получает весь контекст и выполняет многие вычисления одновременно. Decode — генерация продолжения: в обычной схеме следующий токен зависит от предыдущих.

Чтобы не пересчитывать всю историю, система сохраняет промежуточные данные о токенах — KV-кэш. Он занимает память, и его размер растёт вместе с контекстом и числом одновременно обслуживаемых запросов. S24

Повторное использование совпадающего начала запроса между обращениями называют prompt caching. В условном примере документ содержит 20 000 токенов, а новый вопрос — 100. При подходящих условиях сервис может использовать сохранённую обработку документа. При этом полный контекст остаётся большим: кэш не сокращает документ до нуля токенов.

Кэширование вычислений не означает выдачу прежнего ответа. Ответ на новый вопрос генерируется заново. Для кэша действуют условия совпадения входа, объёма и срока хранения. Срок хранения и условия повторного использования определяет сервер или провайдер, а не название модели. S14

2.9Себестоимость и тариф

Себестоимость — затраты на выполнение работы. Тариф — цена для пользователя. Он также зависит от разработки, обслуживания, прибыли и конкуренции.

Практика

2.9Себестоимость и тариф

TBD

Учебный расчёт для саммари: 10 000 входных и 1 000 выходных токенов. При условных $2 за миллион входных и $10 за миллион выходных получаем:

КатегорияРасчётСтоимость
Вход10 000 ÷ 1 000 000 × $2$0,02
Выход1 000 ÷ 1 000 000 × $10$0,01
Всего$0,02 + $0,01$0,03

Это учебные тарифы, не рыночная цена Qwen3-8B. Тысяча таких обращений стоила бы $30.

2.10Почему интеллект со временем становится дешевле

Со временем за те же деньги становится доступен более высокий уровень возможностей. Или тот же измеренный уровень обходится дешевле: появляются более эффективные модели, оборудование и способы запуска.

Практика

2.10Почему интеллект со временем становится дешевле

TBD

Один исторический ориентир: цена использования моделей, достигающих 64,8% на MMLU, снизилась с $20 до $0,07 за миллион токенов между ноябрём 2022 и октябрём 2024 года — более чем в 280 раз. Это опубликованная оценка цены сопоставимого результата на одном бенчмарке. S47

Здесь сравнивается доступный уровень возможностей в разные годы, а не тариф одной неизменной модели. Тренд не означает, что любая задача постоянно дешевеет или счёт каждого пользователя уменьшается. Дешевеющая обработка позволяет поручать моделям больше работы — и тратить больше суммарно.

Как измерить, что интеллект дешевеет?

Практическая метрика — цена работы на выбранном уровне качества. Сначала фиксируют набор задач и порог успешности. Для каждой даты находят подходящие модели и сравнивают их цены при одинаковых правилах расчёта.

В AI Index 2025 пример построен по MMLU с порогом 64,8%. Опубликованные крайние значения — $20 за миллион токенов в ноябре 2022 года и $0,07 в октябре 2024 года. Модели на этих точках разные. Исходные названия сохранены в S47. Это снижение более чем в 280 раз. S47

Один бенчмарк не измеряет все стороны интеллекта. Такая цена не гарантирует одинаковой скорости, надёжности и качества на поездках, статьях или агентных задачах. Она показывает удешевление измеренного уровня возможностей. Текущий счёт пользователя при этом может вырасти, если он поручает больше работы.

2.11Калькулятор расходов

Для базового расчёта нужны тарифы входа и выхода, количество токенов и число обращений. Калькулятор показывает цену одного обращения и общую сумму.

Практика

2.11Калькулятор расходов

TBD

Например, 20 человек делают по 10 саммари в каждый из 20 рабочих дней: 4 000 обращений. При учебной цене $0,03 расходы составят $120. Это прогноз по выбранным средним значениям, а не гарантия фактического счёта.

Что входит в результат калькулятора?

Калькулятор складывает цену входа и выхода, затем умножает её на число обращений. Выбранный тариф должен соответствовать длине контекста и режиму обработки.

Если выходной счётчик включает reasoning, этот объём тоже указывают. Например, 800 токенов видимого ответа и 4 200 токенов reasoning дают 5 000 выходных токенов, если именно так устроен отчёт провайдера. Учёт только видимых 800 занизил бы объём в 6,25 раза. Это условный пример.

Результат не включает кэш, отдельные инструменты, пакетные скидки и налоги. Он также не предсказывает число шагов агента. Для агентной задачи нужно сначала собрать среднее потребление всех её обращений.

При самостоятельном запуске расходы считают по оборудованию и его использованию. Этот калькулятор относится к оплате токенов провайдеру.

Вывод

За токенами стоят вычисления и инфраструктура. Цена сопоставимого уровня возможностей со временем может снижаться, но расходы конкретного проекта зависят от нагрузки, способа запуска и требований к результату.

Источники