Часть 1 · 6 мин
Токен
LLM обрабатывают и генерируют данные в токенах. Их количество зависит от текста, выбранной модели и способа выполнения задачи. Один ответ в чате может включать несколько обращений к модели.
1.1Токен
Токен — единица данных, которую модель обрабатывает или генерирует. В тексте это может быть слово, часть слова, знак препинания или сочетание символов. Когда мы просим LLM сделать саммари статьи, модель читает задание и всю статью, а затем создаёт краткое изложение. И вход, и выход состоят из токенов.
Практика
1.1Токенизатор Qwen3-8B
Интерактив работает с включённым JavaScript.
Токены и номера из словаря Qwen3-8B. Вектор показан условно.
Текст разбивает на токены специальная программа — токенизатор. Она использует словарь, в котором каждому токену присвоен номер. У разных семейств моделей словари и правила разбиения различаются. Например, размер словаря модели Qwen3-8B — около 152 000 токенов. Для грубой оценки обычного текста можно принять около 2 токенов на русское слово и 1–1,5 на английское. Соотношение зависит от текста и токенизатора.
LLM работают с числами, поэтому внутри модели токен преобразуется в вектор — список чисел (embedding). У Qwen3-8B этот список содержит 4 096 чисел. У других моделей размерность может отличаться.
- Фрагмент текста«мир»
- Номер в словаре
130178 - Вектор
[0.12, −0.07, 0.31, …] - ОбработкаСлои модели получают вектор.
Номер из словаря Qwen3-8B. Значения вектора условные. S43
Два способа оплаты: по потреблению и по подписке
PAYG — pay as you go, оплата по потреблению. Пользователь платит за фактически обработанные и сгенерированные токены по тарифам выбранной модели. Больше объём — больше счёт. Деньги могут списываться с заранее пополненного баланса или выставляться к оплате позже. Отдельные инструменты могут оплачиваться дополнительно.
Подписка с включённым пакетом. Пользователь платит фиксированную сумму за период и получает некоторый объём использования. Пакет может выражаться в кредитах, токенах или лимитах работы с моделями. Это не всегда фиксированное число сообщений: длинный запрос или сложная задача расходуют больше ресурсов. После исчерпания пакета сервис может предложить дождаться обновления лимита, перейти на другой план или оплатить дополнительное потребление. S41
Подписка работает за счёт разной активности пользователей и ограничений пакета. Одни обращаются к модели редко, другие — каждый день. Для устойчивой модели сервису нужно, чтобы суммарная выручка покрывала вычисления, разработку и обслуживание. Он может планировать расходы по среднему потреблению, а лимиты защищают от слишком большого расхода отдельных пользователей. Неиспользованный остаток обычно не означает, что под него всё время простаивал отдельный сервер.
Условный пример: 100 пользователей платят по $20 — выручка равна $2 000. Если средние переменные затраты составляют $8 на пользователя, на них уйдёт $800. Оставшиеся $1 200 ещё должны покрыть остальные расходы. Это не чистая прибыль. Если среднее потребление резко вырастет, сервису придётся снижать себестоимость, менять пакет или цену. Это иллюстрация экономики подписки, а не данные конкретной компании.
Как модель читает картинки, звук и видео?
Qwen3-8B работает с текстом. Следующая схема объясняет принцип мультимодальных систем, а не дополнительные возможности выбранной модели.
Текст удобно делить на слова и их части. Для картинки или записи разговора нужны другие элементы, но цель та же: превратить содержимое в числа, с которыми сможет работать модель.
Картинка. Допустим, нужно прочитать фото чека. Система выделяет участки изображения и превращает их в наборы чисел. Так модель получает информацию о том, что видно на фото, включая расположение текста. Для мелкого шрифта может понадобиться более подробное изображение, а значит, больший объём данных. Одна картинка не обязательно равна одному токену.
Звук. Запись можно разбить на короткие отрезки и передать модели их числовые представления. Тогда она получает сам звук. Другой путь — сначала распознать речь и передать только расшифровку: в этом случае модель читает обычный текст, а особенности голоса могут потеряться.
Видео. Система может выбрать кадры и обработать их как последовательность изображений. Если нужен и звук, его добавляют отдельно. Чем больше кадров анализируется, тем больше визуальных данных нужно обработать. S02
Поэтому объём зависит не только от длины подписи к файлу: важны детализация картинки, длительность звука и число кадров. Точный способ подготовки и подсчёта задаёт конкретная модель. На схеме показан принцип. Число участков и отрезков не является правилом подсчёта токенов.
1.2Ввод и вывод
Входные токены модель получает, выходные — генерирует. Соотношение зависит от задачи.
Практика
1.2Вход и выход разных задач
Интерактив работает с включённым JavaScript.
Числа примерные, для сравнения.
При подготовке саммари статьи нужно прочитать длинный исходник и оставить несколько главных мыслей. При планировании поездки всё может быть наоборот: короткое задание «пять дней в Чебоксарах, музеи и прогулки, без машины» превращается в подробный маршрут.
При этом вход — это не только сообщение пользователя. Приложение собирает контекст — всю информацию, доступную модели при текущем обращении. В него могут входить:
- Сообщение пользователя: «Сделай саммари этой статьи в пяти пунктах»
- Системные инструкции: «Пиши по-русски, не придумывай цифры, указывай источники»
- История разговора: прошлые вопросы и ответы, в том числе уточнение «Объясни без технических терминов»
- Документы: текст статьи, таблица с её данными и примечания
- Описание инструментов: возможность прочитать файл или проверить ссылку в интернете, запустить код и т.п.
- Результаты инструментов: найденная страница, извлечённая таблица или сообщение об ошибке
Кэшированные токены — часть входа, для которой система сохранила результаты предыдущей обработки. Например, начало запроса с той же статьёй можно использовать повторно. Кэш сокращает повторные вычисления, поэтому чтение кэшированного входа обычно стоит дешевле. Новые данные и новый ответ всё равно требуют обработки.
Выходных токенов тоже обчно бывает больше, чем в тексте, который видит пользователь. Помимо готового ответа, модель может генерировать:
- reasoning-токены — дополнительное рассуждение, повышающее точность ответа
- при работе с инструментами — инструкции для каждого следующего действия
- дополнительные инструкции в процессе агентских сценариев
Что такое служебные токены и зачем они нужны?
Служебные токены обозначают структуру данных: начало и конец последовательности, роли участников и границы сообщений. BOS расшифровывается как beginning of sequence, EOS — end of sequence.
В Qwen границы сообщения обозначаются <|im_start|> и <|im_end|>, рядом указывается роль: system, user или assistant. Обозначения <think> и </think> отделяют рассуждение от остального ответа. Это маркеры выбранного семейства. У других моделей набор может отличаться. S42
Токен окончания помогает системе определить, что генерация завершена. В некоторых форматах конец сообщения, конец ответа помощника и передача управления инструменту различаются. Поэтому подставлять обозначения одной модели в формат другой нельзя.
Системная инструкция, например «отвечай кратко», содержит правило поведения. Служебные токены обозначают, где находится сообщение и какую роль оно играет. Одно не заменяет другое.
В каком виде модель получает файлы?
Файл проходит подготовку. Способ зависит от приложения и типа данных.
Текстовый документ. Приложение извлекает текст. Оно может передать весь документ или сначала найти подходящие фрагменты. Во втором случае модель получает только выбранные части.
PDF. Для текстовой Qwen3-8B приложение сначала извлекает текст. Если PDF содержит сканы, нужен этап распознавания. Изображения сами по себе эта модель не читает: для них требуется отдельная мультимодальная модель или инструмент.
Таблица. Инструмент может извлечь нужные строки или выполнить расчёт. Например, при запросе суммы по столбцу модель может получить уже рассчитанное число, а не все ячейки.
Размер файла в мегабайтах не определяет число токенов. На него влияют извлечённое содержимое, представление данных и объём, который действительно передан модели.
1.3Модели
LLM — нейросети, которые предсказывают следующее слово (вероятность следующего токена с учётом предыдущих). Генерируя токены один за другим, они создают ответ на запрос пользователя.
Практика
1.3Сколько текста помещается в окно?
Интерактив работает с включённым JavaScript.
Текст посчитан токенизатором Qwen3-8B. Здесь всё окно отведено под книгу. S50
Базовая характеристика модели — число параметров. Если представить модель как длинную формулу, то параметры модели — коэффициенты в формуле. Например формула площади круга πR^2, где радиус (R) может меняться, а коэффициент (π) остается неизменным. В случае с LLM наше запрос в виде токенов это R, а неизменные параметры модели — π.
У Qwen3-8B около 8,2 млрд параметров (отсюда название: 8B → 8 billion). За два года размер старшей модели в линейке Qwen вырос примерно в 33 раза: с 72,7 млрд у в 2024 году до 2,4 трлн у в 2026.
Обычно, чтобы посчитать вероятность появления следующего токена, модель должна выполнить ряд математических операций со всеми своими параметрами (dense-модели). Альтернативная архитектура LLM – MoE (mixture of experts), все праметры разделены на группы — «экспертов», из которых выбираются только нужные для конкретного ответа. Например, у этой Qwen3.8 на одном шаге активны около 95 млрд из 2,4 трлн параметров. Цель — эффективнее использовать вычислительные мощности без потери качества. Сохранилось ли качество, проверяют на конкретных задачах.
Другая важная характеристика LLM — размер контекстнго окна: сколько токенов модель может держать в памяти в рамках одной сессии (ближайшая аналогия — оперативная память компьютеров — RAM). У Qwen3-8B базовый объём — 32 768 токенов. У крупных моделей встречаются окна порядка миллиона токенов — примерно полный текст «Войны и мира».
Наконец, важен режим работы. Одна и та же модель может отвечать сразу, опираясь только на собственную память,либо сначала генерировать дополнительное рассуждения, которые обычно повышают качество ответа. Кроме того, Поэтому для выбора важны не только параметры и длина контекста, но и качество на нужной задаче, скорость и настройки.
Чем отличаются dense и MoE?
Qwen3-8B — плотная модель, или dense: основная сеть участвует в обработке каждого токена.
В архитектуре Mixture of Experts, MoE часть слоёв содержит несколько групп параметров — «экспертов». Для очередного токена выбирается только часть этих групп. Поэтому число активных параметров может быть значительно меньше общего числа. S17
Остальные параметры тоже нужно хранить. MoE уменьшает долю используемых вычислений, но не сводит требования к памяти только к активным параметрам. Это другой способ построения модели, а не переключатель режима нашей Qwen3-8B.
Способы контролировать поведение LLM
Модель оценивает вероятности следующих токенов, а настройки генерации определяют, как из них выбрать продолжение.
Температура меняет различия между вероятностями. При низкой температуре выбор сильнее тяготеет к наиболее вероятным вариантам, при высокой — чаще допускает менее вероятные. Это не настройка истинности: низкая температура сама по себе не делает ответ верным.
Top-p ограничивает набор вариантов по суммарной вероятности. Допустим, четыре продолжения получили 50%, 30%, 15% и 5%. При top-p = 0,8 останутся первые два: вместе они набирают 80%. Выбор происходит внутри этого набора. Вероятности в примере условные.
Top-k оставляет фиксированное число наиболее вероятных вариантов: например, top-k = 20 допускает двадцать кандидатов на следующий токен. Все эти настройки относятся к выбору токенов, а не к числу параметров модели. S51
Настройки подбирают для конкретной модели и режима. Для Qwen3-8B разработчики рекомендуют в режиме reasoning температуру 0,6, top-p 0,95 и top-k 20. Без reasoning — 0,7, 0,8 и 20 соответственно. Это отправные значения, а не универсальный рецепт. В частности, для reasoning этой модели разработчики предостерегают от выбора только самого вероятного токена: он может ухудшить результат и привести к повторам. S42
1.4Агенты и инструменты
С помощью внешнего инструмента (tool) модель может осуществить действие: найти сведения в интернете, прочитать документ, посчитать сумму в таблице или создать файл.
Практика
1.4Одна поездка, четыре режима
Интерактив работает с включённым JavaScript.
Числа примерные, для сравнения.
Примеры инструментов:
- Поиск в интернете
- Управление компьютером
- Работа с файлами
- Запуск кода
- Обращение к внешним сервисам
Запрос модели к инструменту называется вызовом инструмента, или tool call. Например, модель указывает, между какими точками нужно рассчитать маршрут. Приложение передаёт запрос сервису карт и возвращает результат модели.
Задача: «Сколько идти от музея до вокзала?»
Приложение передаёт результат модели. Если данных всё ещё мало, цикл повторяется. S54
Отличие агентного сценария в том, что системе поручают задачу целиком, а следующие шаги она выбирает сама. Пользователю не нужно последовательно просить «найди музеи», «проверь расписание», «посчитай время в пути».
Например, агент получает задачу составить план поездки. Он находит интересные места, проверяет расписание и расстояния. Если музей закрыт в выбранный день, агент переносит посещение или ищет замену. Следующее действие зависит от того, что удалось узнать на предыдущем шаге.
Когда нужен поиск, а когда хватит рассуждения?
Если вы уже дали модели расписание музеев и время в пути, она может сравнить варианты и составить маршрут. Ризонинг помогает связать известные факты. А если нужно узнать, открыт ли музей в праздничный день, понадобится актуальное расписание. Его можно дать модели в запросе или получить через поиск. В одном задании оба подхода могут работать вместе. S25
Может ли агент купить билет без моего согласия?
Это зависит от того, какие инструменты и разрешения дало агенту приложение. С доступом только к поиску агент сможет подобрать билет, но не оплатить его. Если подключена оплата, приложение может показать выбранный рейс и сумму и вызвать платёжный инструмент только после вашего подтверждения. S25
Источники
- S41Claude — Pricing
- S02Hugging Face — Multimodal chat templates
- S43официальный tokenizer.json, закреплённая версия
- S42официальная карточка Qwen3-8B
- S17Hugging Face — MoE
- S51Hugging Face — GenerationConfig
- S50электронное 90-томное собрание Л. Н. Толстого
- S25Anthropic — Building effective agents
- S54Qwen — Function Calling