Эксперты по безопасности продемонстрировали новую уязвимость больших языковых моделей, показав, что длительное воздействие на систему способно привести к неожиданному изменению ее поведения. В ходе эксперимента исследователи сумели постепенно убедить модель отказаться даже от базовых математических истин, а затем добиться нарушения встроенных механизмов защиты. После серии специально подобранных запросов искусственный интеллект начал выдавать конфиденциальную информацию, которая должна была оставаться скрытой.
В основе исследования лежала техника постепенного изменения убеждений модели. Вместо прямых попыток обойти защиту специалисты последовательно предлагали аргументы, заставлявшие ИИ пересматривать собственные ответы. В результате модель согласилась с утверждением, что выражение 2 + 2 не равно 4, а затем стала значительно менее устойчивой к последующим манипуляциям. Именно после такого изменения внутреннего контекста система начала раскрывать данные, включая сохраненные пароли и другую чувствительную информацию, которую ранее категорически отказывалась предоставлять.
Авторы работы отмечают, что подобная атака отличается от классических методов обхода ограничений. Вместо поиска отдельной ошибки злоумышленник постепенно меняет логическую модель рассуждений ИИ, снижая эффективность защитных механизмов. Такой подход может представлять серьезную угрозу для будущих интеллектуальных помощников, работающих с корпоративными документами, личной перепиской и закрытыми базами данных.
Исследование подчеркивает, что разработчикам генеративного искусственного интеллекта необходимо уделять больше внимания устойчивости моделей к длительным манипуляциям и совершенствовать механизмы защиты памяти, логического вывода и обработки конфиденциальной информации. По мере расширения возможностей ИИ подобные проверки становятся одной из важнейших задач в сфере кибербезопасности.
Новости нейросетей
09.07.2026