Один пост за 7,8 миллиона токенов: во сколько обходится агентство из ИИ-агентов

Работа нейросети считается в токенах, это кусочки текста размером примерно со слог. Вся «Война и мир» целиком это около полутора миллионов токенов.

На один пост в соцсеть мои ИИ-сотрудники потратили 7,8 миллиона. То есть пять таких книг.

Цифры ниже не на глаз: я поднял базу платформы Paperclip, на которой работало агентство, и посчитал расход по каждой задаче и каждому запуску.

Путь одного поста

Задача была простая: пост про небо над жилым комплексом. Неброский, без продажи, текст на две тысячи знаков.

Вот его маршрут по агентству:

1. Директор написал бриф. 2. Креативный директор превратил бриф в задачу. 3. Аккаунт-менеджер проверил, что задача понятна. 4. Копирайтер написал текст. 5. Творческий отдел подобрал фото. 6. Отдельной задачей прогнали всю эстафету целиком, чтобы убедиться, что конвейер работает.

Шесть задач в трекере, двенадцать запусков агентов. На выходе один пост.

Отдельно стоит сказать про постановку: задача пришла в голом виде, «напиши пост про такой-то объект». Ни материалов, ни примеров, ни критерия готовности. Всё это агенты добирали сами, и каждый добирал заново.

Куда ушли токены

| Что | Токенов | Доля | |---|---|---| | Написано агентами (брифы, варианты, сам пост) | 124 822 | 1,6% | | Перечитывание истории задачи | 7 619 157 | 97,5% | | Прочее (первичный ввод) | ~60 000 | 0,9% | | Итого | 7 803 872 | 100% |

Почти весь расход это не работа, а чтение того, что уже было сделано до тебя.

Ровно так живёт большая корпорация. Чтобы выпустить один пост, его смотрят маркетолог, бренд-менеджер, юрист и руководитель, и каждый открывает переписку с самого начала. Работы там на час, а согласований на неделю. Разница в том, что у корпорации на это уходит время людей и все это видят, а у меня уходили деньги и не видел никто.

Почему так выходит

У ИИ нет памяти между запусками. Каждый раз, берясь за задачу, агент читает её историю заново: переписку, вложения, прошлые решения, свою инструкцию.

Отсюда неочевидное следствие: короткий ответ в конце длинной переписки стоит дороже, чем вся эта переписка стоила в начале.

Вот другая задача: собрать страницу для сайта. Один агент, десять запусков подряд, полтора суток. Сколько он перечитывал на каждом шаге, по порядку:

4,8 млн → 3,1 → 7,8 → 1,5 → 10,2 → 4,7 → 12,9 → 10,7 → 1,3 → 11,9

Итого 69 162 400 токенов. Это сорок пять «Войн и миров» на одну страницу.

Статус задачи в трекере остался «не сделана».

Агент не виноват: он добросовестно перечитывал контекст и добросовестно работал. Просто никто, включая его самого, не видел, сколько это стоит.

Как я это заметил

Не по отчётам и не по графикам. Я начал жёстко упираться в лимиты: работа вставала, хотя задачи были обычные.

Было непонятно, откуда такой расход на ровном месте. Полез разбираться и увидел всё то, что описано выше.

Заодно выяснилось, почему проблему не видно заранее. Расход появляется в базе за три-шесть миллисекунд до того, как агент закончит работу. Всё время, пока он работает, счётчик показывает ноль. Проверял и рабочий журнал программы: на трёх последовательных шагах его размер не менялся вовсе, 19 504 байта, а после завершения мгновенно стал 34 435 байт с записью о расходе.

То есть прибора нет ни у меня, ни у самого агента. Остановить работу «по расходу» в момент, когда она идёт, невозможно в принципе.

Что из этого следует

Платишь не за работу, а за пересказ. Чем длиннее цепочка ролей, тем больше в ней пересказа: каждый следующий обязан прочитать всех предыдущих. Пять ролей на один пост означают, что текст напишут один раз, а прочитают пять.

Разбирайте задачу до того, как отдать её агенту. Что именно сделать, с какими файлами, что считать результатом. Причём разбирать лучше обычным кодом, а не ещё одним агентом: код делает это мгновенно и за копейки, а каждый лишний агент в цепочке снова прочитает всё с начала.

Короткая цепочка дешевле длинной, и разница не в проценты. В нашем случае она составила два порядка.