Часть 3 · 7 мин
Сколько стоит выполненная задача
Плата за токены — одна из затрат на задачу. Для получения нужного результата могут потребоваться повторные обращения, инструменты, проверки и работа человека. При сравнении систем нужно учитывать весь этот объём.
3.1Что считать готовым результатом
Задача выполнена, когда результат соответствует требованиям. Сгенерированный файл — только первый признак завершения работы.
Практика
3.1Что считать готовым результатом
TBD
Допустим, нужно подготовить по квартальному отчёту презентацию на 10 слайдов для руководителей. Выступление займёт пять минут. Цель — объяснить результаты и предложить следующие действия.
Чтобы считать презентацию готовой, нужно проверить:
- Содержание: есть основные результаты, причины изменений и предложения.
- Данные: цифры совпадают с отчётом. У графиков указаны период и единицы измерения.
- Структуру: выводы идут в понятном порядке, на каждом слайде есть главная мысль.
- Оформление: текст читается, элементы не перекрываются, графики понятны.
- Использование: файл открывается, его можно показать на встрече, а объём подходит для пяти минут.
Десять красивых слайдов с неверными цифрами не решают задачу. Как и точный текст, который ещё нужно вручную перенести в презентацию и оформить. Поэтому расходы сравнивают для одинакового готового результата, включая необходимые проверки и исправления. S26
Как проверить качество презентации?
Часть требований проверяется автоматически: файл существует и открывается, слайдов десять, обязательные разделы присутствуют, числа совпадают с исходной таблицей. Но наличие числа ещё не доказывает, что оно относится к правильному периоду или показателю.
Затем слайды смотрят целиком: не обрезаны ли подписи, читаются ли графики, не скрыт ли важный вывод. Содержание проверяют с учётом аудитории: руководителям должно быть понятно, что произошло и какое решение предлагается. Для оценки длительности полезно пройти выступление вслух.
В серии запусков можно считать долю презентаций, прошедших общую проверку. Если из 100 готовыми признаны 60, успешность равна 60%. Это условный пример. Успех сразу и успех после нескольких переделок учитывают раздельно: за одинаковой итоговой оценкой может стоять разный объём работы.
Другая модель может помогать проверке, но её оценку тоже нужно сверять с фактами и человеческими требованиями. Все сравниваемые варианты должны проходить одинаковую проверку. S26
3.2Почему дешёвые токены не гарантируют дешёвую задачу
Цена токена задаёт тариф за единицу объёма. Стоимость попытки зависит от числа использованных токенов. Стоимость результата включает все попытки, которые понадобились для его получения.
Практика
3.2Почему дешёвые токены не гарантируют дешёвую задачу
TBD
Учебный пример: одну задачу выполняют двумя способами. Вариант А стоит $0,10 за попытку, вариант Б — $0,50. В первом случае результат прошёл проверку с шестой попытки, во втором — с первой.
| Вариант | Цена попытки | Число попыток | Общие расходы |
|---|---|---|---|
| А | $0,10 | 6 | $0,60 |
| Б | $0,50 | 1 | $0,50 |
В этом примере более дорогая попытка дала более дешёвый результат. Все значения условные. Они объясняют расчёт, но не описывают надёжность конкретных моделей.
В реальной работе число попыток заранее неизвестно. Для сравнения нужны повторные запуски на одинаковых задачах, общие правила проверки и учёт всех расходов.
Зачем учитывать неудачные запуски?
Средняя цена только успешных задач исключает работу, на которую ресурсы уже потрачены, но результат не получен.
Учебный пример: система получила 100 задач, каждая попытка стоила $0,10. Она решила 60 задач и израсходовала $10 на все попытки. Если разделить общие расходы на 60 результатов, получится около $0,17 на успешный результат. Но 40 задач по-прежнему не выполнены, и их последующая обработка потребует отдельных расходов.
Поэтому одного такого среднего недостаточно. Нужно одновременно показывать долю успеха, общий расход и дальнейшую судьбу нерешённых задач. Их можно передать человеку или другой модели, повторить с новыми данными либо отменить.
При сравнении систем набор задач и требуемый объём выполненной работы должны совпадать. Сервис, который решает только простые задачи, не обязательно выгоднее сервиса, который выполняет весь набор.
3.3Зачем модели нужен харнес
Харнес, или harness, — программа, которая организует работу модели с инструментами и данными. Она передаёт контекст, выполняет выбранные моделью действия, сохраняет прогресс и управляет продолжением или завершением задачи.
Практика
3.3Зачем модели нужен харнес
TBD
В примере с поездкой харнес предоставляет поиск и расчёт времени в пути, возвращает найденные сведения модели и сохраняет уже выбранные места. Если поиск не дал результата, он сообщает об этом модели, чтобы та могла выбрать следующий шаг.
От харнеса зависит, какую информацию получает модель, какие действия ей доступны и как обрабатываются ошибки. Поэтому изменение харнеса может изменить результат при той же модели.
Меняя окружение модели, можно улучшить результат без замены самой модели. Например, агент с GPT-5.2-Codex повысил долю решённых задач с 52,8% до 66,5% после изменений инструкций, инструментов и организации проверок. Это результат на наборе Terminal Bench 2.0. S06.
Чем харнес отличается от промпта?
Промпт содержит инструкции и данные для модели. Харнес выполняет программу работы: вызывает инструменты, обрабатывает ошибки, хранит состояние и подготавливает следующий вход.
Для планирования поездки цикл может выглядеть так:
- Передать модели пожелания и список доступных инструментов.
- Выполнить выбранный поиск часов работы или расчёт времени в пути.
- Вернуть результат модели.
- Сохранить найденные места, ограничения и причины изменения маршрута.
- Продолжить поиск или завершить задачу готовым планом.
Для долгой работы полезна запись о выполненных шагах: какие файлы изменены, что уже проверено и что осталось. Она позволяет продолжить задачу после сокращения контекста или перезапуска. В подходе Anthropic для длительных агентов используются файлы прогресса и последовательная работа над отдельными функциями. S27
Ограничение числа шагов, времени и расходов также задаётся системой. Инструкция «не трать слишком много» не заменяет проверку фактического расхода программой.
Guardrails: кто проверяет запросы, ответы и действия?
Guardrails — проверки и ограничения вокруг модели. Перед передачей запроса основной модели система может проверить его содержание или скрыть персональные данные. Перед показом ответа — проверить, не раскрывает ли он закрытую информацию. Перед вызовом инструмента — проверить допустимость действия и его параметры. S52
Один из способов — поручить проверку отдельной модели. Например, основная модель готовит ответ клиенту, а другая оценивает, не содержит ли он запрещённых к раскрытию сведений. По результату система пропускает ответ, блокирует его или отправляет на исправление.
Но отдельная модель нужна не всегда. Номер паспорта можно искать по правилам, формат данных — проверять программой. В некоторых системах проверку выполняет та же модель отдельным обращением. Система может сочетать правила, обычный код и модели: состав проверок зависит от задачи. S52
Запрос → проверка входа → основная модель → проверка выхода → пользователь. Это один возможный вариант. Проверки действий могут происходить внутри агентного цикла.
Проверки моделями добавляют обращения, токены и время. Они тоже могут ошибаться, поэтому не заменяют ограничения доступа и контроль действий в приложении. Это ещё одна причина считать расходы всего процесса.
3.4Где возникают дополнительные расходы
Агент может повторно читать те же данные, пробовать неработающий способ или восстанавливать сведения, потерянные при сокращении контекста. Каждое новое обращение расходует токены, даже если не приближает результат.
Практика
3.4Где возникают дополнительные расходы
TBD
Например, при планировании поездки агент снова ищет часы работы уже проверенного музея и предлагает маршрут, который прежде не подошёл по времени. Без сохранённых результатов и причин отказа такая работа может повторяться.
Харнес может сохранять найденные данные, передавать результаты проверок и ограничивать число повторов. Сами проверки тоже требуют ресурсов. Их объём выбирают с учётом задачи и последствий ошибки.
Дополнительно могут оплачиваться поиск, запуск программ, работа браузера, хранение и внешние сервисы. Настройка агента и разбор сбоев требуют времени команды. Эти расходы не входят в цену токенов.
Дорогие ошибки агентов: два примера сбоев
Изображение было учтено как большой текст. В июле 2024 года разработчик сообщил в GitHub LangChain об ошибке при попытке получить дату со счёта по изображению. По его отчёту, содержимое картинки в кодировке base64 было учтено как текст промпта. Сервер сообщил о 254 201 токене в сообщениях и отклонил запрос из-за лимита контекста. Сумма расходов не указана: случай подтверждает ошибку обработки входа, но не денежный ущерб. S11.
Через открытый доступ к агентам был украден API-ключ. В августе 2026 года METR описал мартовский инцидент: ошибка авторизации открыла посторонним доступ к панели управления агентами. Злоумышленник получил через агента API-ключ и за три недели использовал бесплатные кредиты стоимостью около $600 000. METR не оплачивал эту сумму. Необычный расход долго не замечали на фоне крупных экспериментов. Это случай злоупотребления доступом, а не самостоятельного зацикливания агента. S10.
3.5Скорость ответа и время до результата
Скорость можно измерять по-разному:
Практика
3.5Скорость ответа и время до результата
TBD
- время до первого фрагмента ответа.
- скорость генерации текста.
- время до завершения всей задачи.
Для агента последний показатель включает обработку данных, ожидание инструментов, повторные попытки и проверки. Быстрое первое сообщение не означает быстрое выполнение задачи.
Дополнительная проверка может увеличить время запуска и уменьшить последующую ручную доработку. Поэтому длительность рассматривают вместе с качеством результата.
При создании редактора ретроигр один агент на Claude Opus 4.5 работал 20 минут за $9, а более сложный харнес с той же моделью — 6 часов за $200. В первом результате игровое управление не работало. Во втором основная функция заработала, но ошибки остались. S07.
Сложный харнес также расширил объём проекта. Это пример разницы в расходах, времени и результате, а не сравнение одинаковой работы при равных условиях.
Как оценивать длительные запуски?
Нужно отдельно измерять три времени: работу модели, ожидание инструментов и участие человека. Сумма длительностей параллельных действий может быть больше времени, прошедшего от начала до конца задачи.
Например, две независимые проверки по 30 секунд при параллельном запуске могут закончиться примерно за 30 секунд, а при последовательном — за 60. Это условный пример без учёта запуска и обмена данными.
Затем проверяют, что получено за это время. Длительный запуск может включать полезные проверки, лишнее расширение задания или повторение ошибок. Для фоновой задачи несколько часов могут быть допустимы, для ответа во время разговора — нет.
В примере Anthropic шестичасовой харнес распределял расширенный проект на 16 функций и 10 этапов работы. Это одна из причин, по которой его длительность нельзя сравнивать с 20 минутами как время выполнения строго одинакового объёма. S07
3.6Сколько стоит участие человека
Человек ставит задачу, отвечает на уточнения, проверяет результат и исправляет ошибки. Это рабочее время нужно учитывать при оценке экономии.
Практика
3.6Сколько стоит участие человека
TBD
Например, быстро подготовленный отчёт может требовать проверки каждой ссылки и переписывания выводов. Более долгий запуск может вернуть текст, который требует меньше исправлений. Сравнение только времени работы модели пропустит эту разницу.
Время ожидания и рабочее время человека различаются. Во время самостоятельной работы агента человек может заниматься другими задачами. Частые запросы на вмешательство требуют внимания и переключения между делами.
В оценку включают постановку задачи, сопровождение, проверку и доработку. Для разовой небольшой задачи настройка агента может занять больше времени, чем сама работа. При регулярном использовании затраты на настройку распределяются на много запусков.
Ощущение экономии времени тоже требует проверки. В эксперименте начала 2025 года 16 опытных разработчиков выполнили 246 задач в знакомых проектах. С доступом к ИИ работа заняла на 19% больше времени, хотя участникам казалось, что они ускорились на 20%. Этот пример показывает, зачем измерять весь процесс, включая проверку и исправления. Он относится к конкретным инструментам и задачам того периода. S35
Почему ощущение ускорения может отличаться от замера?
В исследовании задачи случайным образом распределяли между условиями «ИИ разрешён» и «ИИ запрещён». Разработчики работали в проектах, которые хорошо знали. В основном использовали Cursor Pro и Claude 3.5/3.7 Sonnet. Замер включал работу над задачей целиком. S35
Готовый текст или код появляется быстро, но его нужно прочитать, проверить и при необходимости исправить. Поэтому субъективное облегчение работы и сокращение времени не обязательно совпадают.
В обновлении от февраля 2026 года METR сообщил, что новое исследование показывает признаки ускорения, но оценку искажает отбор участников и задач. Некоторые разработчики не хотят выполнять часть работ без ИИ и не включают их в эксперимент. Авторы пересматривают методику. Старые 19% поэтому нельзя переносить на новые инструменты как постоянную величину. S36
3.7Что показывают исследования и бенчмарки
Бенчмарк — набор задач с определёнными правилами оценки. Он позволяет сравнивать системы в общих условиях. Для понимания результата нужны сведения о модели, харнесе, настройках и ограничениях запуска.
Практика
3.7Что показывают исследования и бенчмарки
TBD
Эксперимент LangChain использовал 89 задач Terminal Bench 2.0. Его результат относится к этому набору и выбранным условиям. Фиксированная модель не означает одинаковых расходов. S06.
Пример Anthropic с редактором игр показывает два конкретных результата. По нему можно разбирать отличия в работе систем, но нельзя определить, как часто эти отличия повторятся на других задачах.
Бенчмарки и разборы запусков помогают выбрать варианты для проверки. Для оценки собственного сервиса нужны запуски на его типичных задачах.
Всегда ли больше reasoning улучшает результат?
В отчёте LangChain максимальный reasoning на всех этапах дал 53,9%, а режим high — 63,6%. Авторы связывают разницу с превышением лимитов времени: агент дольше рассуждал и не всегда успевал закончить задачу. S06
Это показывает важность условий проверки. При ограниченном времени нужно успеть и найти решение, и выполнить действия, и проверить результат. Увеличение рассуждения на каждом шаге может оставить меньше времени на остальные этапы.
Вывод не означает, что высокий reasoning всегда хуже. Для другой задачи и другого лимита результат может измениться. Корректный выбор режима требует сравнения качества, длительности и потребления на одном наборе задач.
Что значит «модель решает задачи на несколько часов»?
METR измеряет сложность задач через время, которое тратит человек-эксперт. Затем оценивает вероятность, с которой агент выполняет такие задачи. «Временной горизонт» связывает эти две величины. S08
Условный пример: горизонт 2 часа при 50% успеха означает, что для задач такого человеческого масштаба оценённая вероятность успеха агента составляет 50%. Это не утверждение, что агент работает два часа подряд или решает половину любых двухчасовых работ.
При уровне 80% требования к надёжности выше, поэтому горизонт обычно короче. Результат зависит от набора задач, оценки человеческого времени и условий запуска агента.
Фактическое время агента — отдельная метрика. Он может выполнить задачу быстрее человека, медленнее или не завершить её. Для оценки ожидания нужны реальные длительности запусков.
Что нужно знать для сравнения результатов?
- Совпадают ли задачи и правила проверки?
- Какие версии моделей и харнесов использовались?
- Какие были ограничения времени, reasoning и расходов?
- Учтены ли неудачные попытки и инструменты?
- Проведена серия запусков или показан один пример?
Без данных о расходах рост качества нельзя считать доказательством экономии. Без одинакового объёма работы разницу в длительности нельзя считать чистым ускорением.
3.8Что учитывать кроме цены токенов
Для выбора системы нужно сравнивать:
Практика
3.8Что учитывать кроме цены токенов
TBD
- качество результата и долю выполненных задач.
- расходы на все попытки и инструменты.
- время до готового результата.
- участие человека в настройке, проверке и доработке.
Снижение цены токенов позволяет обрабатывать больше данных и выполнять больше проверок при том же бюджете. Но дополнительные обращения полезны только тогда, когда помогают решить задачу.
Харнес определяет, как модель получает данные, использует инструменты и проверяет работу. Для простой задачи может хватить одного обращения. Для сложной — нескольких действий и проверок. Сравнивать варианты следует на одинаковых задачах с общими требованиями к результату.
Вывод
Цена токенов — только часть затрат на задачу. Итоговые расходы, качество и время зависят также от харнеса, инструментов, проверок и участия человека.
Источники
- S26Anthropic — Demystifying evals
- S27Anthropic — Effective harnesses
- S52NVIDIA — Guardrail Types
- S06LangChain — Improving Deep Agents with harness engineering
- S11LangChain issue #24107
- S10METR — Update on Security
- S07Anthropic — Harness design for long-running application development
- S35Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
- S36Early-2026 AI developer productivity update
- S08METR — Task-Completion Time Horizons