Нейросети · IT-курсы · 4 мин чтения

Какие действия ИИ-агента стоит подтверждать самому?

Редакция Алгоса · Обновлено

Короткий ответ

Для агента полезно заранее разделить подготовку и действия с последствиями. Прочитать доступный учебный файл и подготовить черновик обычно можно в заданных границах. Отправить сообщение от твоего имени, оплатить заказ или удалить важные данные требует ясного разрешения и проверки конкретного результата. Общая просьба «помоги» не определяет все такие полномочия.

Как это устроено

Полномочия — действия, которые помощнику действительно разрешено выполнять. Они должны соответствовать задаче. Если агенту нужно только сравнить документы, право удалять их не помогает сравнению. Ограничение возможностей уменьшает последствия ошибки выбора файла, неверного понимания команды или чужой инструкции внутри прочитанного материала.

Сравни действия и их результат
ЭтапЧто проверяет человек
ЧерновикСодержание и соответствие задаче
Перед внешним действиемАдресата, объекты и последствия
После выполненияФактический результат

Разберём на примере

Хорошее подтверждение показывает предмет решения: кому уйдёт сообщение, какой текст и вложения будут отправлены, что изменится после действия. Вопрос «можно продолжить?» без этих деталей заставляет соглашаться вслепую. Подготовить проверяемый черновик обычно полезнее, чем заранее просить разрешение на неизвестный результат.

Пример по шагам

Ты поручил составить письмо учителю с вопросом о расписании. Агент подготовил тему, текст и предполагаемого адресата. Перед отправкой ты проверяешь именно эти данные. Разрешение написать черновик ещё не означает разрешение отправить его всем контактам или приложить любые файлы с компьютера.

Почему так

Повторное подтверждение не нужно для каждого мелкого шага, если границы заранее ясны. Например, можно разрешить исправления в отдельной учебной копии проекта с сохранением оригинала. Важно, чтобы новая цель, новый адресат или заметно другие последствия не прятались внутри прежнего общего согласия.

Проверь себя

Пользователь разрешил удалить три указанных временных файла. Агент нашёл ещё десять похожих по имени и решил удалить их тоже. Покрывает ли прежнее разрешение новое действие? Какие сведения нужно показать пользователю, если расширение действительно полезно? Сначала проверь точный список, а не сходство названий.

Ответ и объяснение

Прежнее разрешение относится к указанным трём файлам. Для расширения нужно показать новый конкретный список и объяснить причину. Если задача выполняется без дополнительных удалений, их лучше не добавлять. После разрешённого действия полезно проверить фактический итог: подтверждение попытки ещё не доказывает, что изменились именно нужные объекты.

Что запомнить

Перед действием от твоего имени проверь конкретное содержание, адресата и последствия; после действия проверь результат.

Попробовать на Алгосе

Нейросети на каждый день

В курсе ты потренируешься задавать понятные запросы, уточнять ответы и проверять результат работы ИИ.

Перейти к курсу Все курсы

Источники и материалы

Разобраться дальше

Все вопросы и разборы