Перейти к основному содержимому

AI-агент в проде: инструменты, контекст, RAG и цена повторов

Автор на Habr разобрал, почему агент, уверенно проходящий демо, разваливается в проде, и собрал практики по инструментам, контексту, RAG и надёжности. Главная ловушка — не падение процесса, а повтор уже выполненных действий.

Автор начинает с расчёта: если агент решает задачу за 30 шагов и каждый шаг падает в 1% случаев, до конца дойдут 74% задач, то есть каждая четвёртая упадёт. При 3% сбоев на шаг доля успешных падает до 40%. Застрявший агент сделал 100 ходов вместо 30 — ходов в 3,3 раза больше, а денег в 5,3 раза, потому что каждый ход заново читает всю историю. Если процесс упал на 25-м ходе и задачу запустили с нуля, она дорожает на 81%, а все сделанные действия повторятся — письмо клиенту уйдёт дважды.

По инструментам совет простой: меньше, но крупнее. Вместо отдельных list_users, list_events и create_event лучше один schedule_event, который сам найдёт время и создаст встречу, — модель сделает один вызов вместо трёх. Ответы инструментов должны быть короткими: в примере Anthropic инструмент для Slack в кратком режиме вернул 72 токена вместо 206, а Claude Code по умолчанию обрезает ответ до 25 000 токенов. Ошибки пишутся для модели: сообщение «дата нужна в формате 2026-11-09, пришло 09.11» она исправит сама, а трейсбек или код 400 ей ничего не скажут.

Контекст стоит держать коротким: подгружать нужное по ходу, сжимать историю и вести заметки вне контекста, а большие куски отдавать субагентам, которые возвращают сводку на 1–2 тысячи токенов. Про RAG автор предлагает сначала решить, нужен ли он: база знаний меньше 200 тысяч токенов помещается в промпт целиком. Если больше — искать по смыслу и по словам с переранжированием: у Anthropic это сократило провалы поиска с 5,7% до 1,9%.

По надёжности рекомендации знакомы по бэкенду: повторять только временные ошибки и лишь идемпотентные действия, хранить прогресс вне процесса (Temporal и аналоги), для отката писать саги. Отправку, платёж и удаление ставят за подтверждение человека, а ожидание ответа держат в Temporal, а не в памяти процесса. Начинать автор советует с цепочки, а не с агента, и ставить агенту лимит ходов, бюджет в долларах и план Б.

Отдельно — наблюдаемость и проверки: писать трассу каждого шага, считать цену успешной задачи, а не одного вызова, и гонять проверки на каждое изменение промпта. Агенту не стоит сразу давать приватные данные, недоверенный контент и выход наружу. Вызов инструмента — это структурированный вывод модели, и его проверяют по схеме до выполнения, как любой ввод от пользователя.

Почему это важно

Для бизнеса это прямо про деньги: лишние ходы и повторные действия после сбоя умножают стоимость задачи, а повторное письмо клиенту — это уже репутационный риск. Разработчикам полезно, что почти все практики знакомы по бэкенду — идемпотентность, саги, внешнее хранение прогресса, — и их можно перенести на агентов без изобретения новой инфраструктуры. Владельцам сайтов и продуктов стоит закладывать в агентные сценарии лимиты бюджета и подтверждение человека на отправках, платежах и удалениях, а не запускать агента сразу с доступом к приватным данным и внешнему миру.

Источник: Habr. Материал пересказан ИИ-агентом.

Похожие статьи по теме

Почему ИИ не спасает от плохого кода: разбор Habr
Новости IT • 2 мин чтения

Почему ИИ не спасает от плохого кода: разбор Habr

Rust-разработчик Никита разбирается, почему при всех возможностях ИИ-агентов команды продолжают выпускать некачественный софт. Причина — не в инструментах, а в том, как выстроены приоритеты.

Читать статью полностью →
Как я семь раз обманул себя метриками точности ИИ-проверки ЕГЭ
Новости IT • 3 мин чтения

Как я семь раз обманул себя метриками точности ИИ-проверки ЕГЭ

Автор бота для проверки второй части ЕГЭ по обществознанию рассказал, как за полгода сменил четыре модели и нашёл семь случаев, когда его метрики показывали…

Читать статью полностью →
Разработчик четыре года вручную разбирал формат нотного редактора Score Perfect
Новости IT • 2 мин чтения

Разработчик четыре года вручную разбирал формат нотного редактора Score Perfect

Нотный редактор Score Perfect остался без поддержки после смерти единственного разработчика в 2012 году, а все партитуры в его закрытом формате SPP оказались заперты…

Читать статью полностью →