Группа исследователей представила масштабный анализ безопасности открытых генераторов изображений на базе искусственного интеллекта. В ходе работы специалисты изучили более 200 open-source моделей, доступных в открытом доступе, чтобы оценить, насколько эффективно встроенные механизмы способны предотвращать создание запрещенного или потенциально опасного контента.
Результаты показали, что базовые версии популярных генераторов в большинстве случаев успешно блокируют очевидные попытки сформировать изображения, нарушающие правила безопасности. Однако ситуация заметно меняется после модификации моделей сторонними разработчиками. Исследование показало, что часть производных версий теряет встроенные ограничения полностью или частично, из-за чего вероятность обхода защитных механизмов значительно возрастает.
Авторы работы отмечают, что проблема связана не столько с архитектурой самих моделей, сколько с открытой экосистемой распространения. После публикации весов любой разработчик может изменить параметры обучения, удалить фильтры безопасности или адаптировать генератор под собственные задачи. В результате пользователи получают версии, существенно отличающиеся по уровню защиты от оригинальных моделей.
Исследователи подчеркивают, что развитие open-source ИИ не должно сопровождаться отказом от механизмов контроля. По их мнению, сообществу необходимо активнее внедрять стандарты проверки модифицированных моделей, публиковать результаты независимых аудитов и разрабатывать универсальные методы оценки безопасности. Авторы считают, что подобные проверки должны стать обязательной частью жизненного цикла открытых генераторов изображений, поскольку их популярность продолжает быстро расти как среди разработчиков, так и среди обычных пользователей.
Новости нейросетей
14.07.2026