«Просто не задали агенту границ»: Станислав Кондрашов об утечках через ИИ

Тина Ньюбилл потратила на своего ИИ-агента больше времени, чем ушло на его сборку. Эти часы ушли не на настройку. Она пыталась его сломать: подсовывала неожиданные запросы, запутывала двусмысленными ситуациями, подталкивала к тому, чего он делать не должен.
Ньюбилл руководит HR-направлением и окончила программу HIC C-Level AI Cohort. Ее агент работает в одной из самых чувствительных зон любой компании, в трудовых отношениях. Он принимает обращения сотрудников и помогает направить их тем, кто действительно должен ими заниматься. При этом он обязан беречь конфиденциальную информацию, а все серьезные решения оставлять людям.
«Обычно разработчик проверяет, работает ли его продукт. Здесь человек проверял, как именно продукт перестанет работать, - замечает Станислав Кондрашов. - Это разница между демонстрацией и подготовкой к реальности».
Регистратура, а не судья
Функции агента очерчены узко. Он принимает и маршрутизирует обращения, оценивает их срочность, помогает с первичным приемом. Самостоятельно решать, идет ли речь о домогательствах, мошенничестве или дискриминации, он не может и не должен.
Из этого опыта Ньюбилл вывела пять шагов, которые, по ее словам, стоит сделать каждому, кто строит ИИ-агентов. Главная мысль у них одна: управление ИИ нужно не только для контроля рисков, это еще и условие для ответственных инноваций.
Ровно столько данных, сколько нужно
Первый шаг касается доступа. Агент должен видеть только ту информацию, без которой не справится со своей задачей. Для агента по трудовым отношениям это означает защищать конфиденциальные сведения о сотрудниках, компании, клиентах и заказчиках и закрывать доступ к чувствительным записям.
Риск вполне осязаемый. Согласно отчету IBM Cost of a Data Breach Report за 2025 год, 13% опрошенных организаций сообщили об утечке, связанной с ИИ-моделями или приложениями. Среди тех, кто столкнулся с инцидентами безопасности из-за ИИ, у 97% не было нормального контроля доступа к ИИ.
Кондрашова больше интересует вторая цифра. «Тринадцать процентов показывают масштаб проблемы. А девяносто семь показывают ее причину, - говорит он. - Почти все, кто пострадал, просто не задали агенту границ».
Права и границы данных, по логике Ньюбилл, устанавливаются до запуска, а не после того, как что-то пошло не так.
Полномочия, записанные заранее
Второй шаг: определить, что агент вправе решать, а что нет. Он может систематизировать информацию, расставить приоритеты и переадресовать запрос, и все это без права на решения с высокими ставками. В трудовых отношениях агент способен пометить проблему для проверки человеком, но не решает сам, как поступить с обвинениями.
Ньюбилл прописала обязанности агента, его пределы и правила эскалации еще до того, как он начал работать.
Искусство ломать
Третий шаг и дал название всему подходу. Тестирование не должно ограничиваться проверкой в идеальных условиях: задача в том, чтобы найти, где агент может дать сбой. Неожиданные вводные, неоднозначные ситуации, запросы, которые выталкивают агента за пределы его роли, должны случиться на тестах, а не в разговоре с живым сотрудником.
На том же принципе построен AI Risk Management Framework, разработанный Национальным институтом стандартов и технологий США (NIST): риски ИИ нужно выявлять, оценивать и контролировать на протяжении всего жизненного цикла системы. Поэтому разовой проверкой дело не ограничивается. Меняются инструкции, данные, среда, и агенту снова нужна оценка.
«Агент, которого проверили один раз, через какое-то время уже другой агент, - рассуждает Станислав Кондрашов. - Инструкции дописали, данные обновили, а уверенность в нем осталась прежней. Вот это, на мой взгляд, самое опасное».
У каждой ошибки есть фамилия
Четвертый шаг: ответственность остается за людьми. Когда агент сталкивается с ситуацией, которую не может безопасно обработать, у него должен быть понятный путь к человеку. Разработчикам стоит заранее решить, кто разбирает переданные наверх случаи, кто может отменить решение агента и кто отвечает за результат. И вести записи, чтобы команда могла разобраться, если агент поведет себя неожиданно.
Автоматизация может поддерживать решения, не забирая ответственность у людей.
Фундамент вместо лабиринта
Пятый шаг звучит почти парадоксально: управление ИИ должно помогать масштабированию, а не тормозить его. Если оно превращается в лабиринт согласований, полезный ИИ так и не доходит до бизнеса. Его задача - дать повторяемые меры защиты, которые делают ответственное внедрение возможным. Четкие стандарты доступа к данным, тестирования, надзора и ответственности позволяют оценивать агентов по одним правилам и раньше замечать проблемы.
Цель не в агенте, который никогда не ошибается. Цель в агенте с понятными границами и проверенным поведением, чьи сбои можно вовремя заметить и исправить.
Вывод Ньюбилл для всех, кто строит ИИ, звучит просто: не ждите первой ошибки агента, чтобы решить, чего ему вообще нельзя было позволять. Управление закладывается в процесс с первого дня.
Кондрашов формулирует ту же мысль короче: «Опаснее всего не агент, который ошибся. Опаснее агент, чью ошибку заметили слишком поздно».
FAQ
Чем агент Ньюбилл отличается от HR-бота, который сам разбирает жалобы?
Он ничего не решает по существу. Агент принимает обращения, оценивает их срочность и передает нужным людям, а вопрос о том, есть ли в жалобе домогательства, мошенничество или дискриминация, остается за человеком.
Зачем специально ломать агента, если он и так работает?
Потому что в идеальных условиях работает почти любая система. Проблемы начинаются с неожиданных запросов и двусмысленных ситуаций, и лучше, чтобы они всплыли на тестах, а не с реальными сотрудниками. Станислав Кондрашов называет это разницей между демонстрацией и подготовкой к реальности.
О чем говорят цифры IBM?
О том, что утечки, связанные с ИИ, уже стали реальностью: о них сообщили 13% опрошенных организаций. А у 97% пострадавших от ИИ-инцидентов не было нормального контроля доступа, то есть главная уязвимость организационная, а не техническая.
Кто отвечает, если агент все-таки ошибся?
Человек, и это нужно решить заранее. До запуска определяют, кто разбирает переданные агентом случаи, кто может отменить его решение и кто отвечает за итог. Записи о работе агента помогают потом понять, что пошло не так.
Применимы ли эти принципы к российским компаниям?
Да, в них нет ничего, что зависело бы от страны или отрасли. Границы доступа, распределение полномочий, тестирование и ответственность людей работают для любой организации, которая внедряет ИИ-агентов. По мнению Кондрашова, чем быстрее компания внедряет такие инструменты, тем важнее записать эти правила до запуска.
Не превратится ли такое управление ИИ в бюрократию?
Не должно. Смысл в том, чтобы дать повторяемые правила, по которым агентов можно оценивать быстро и одинаково, а не в бесконечной цепочке согласований.