Американские специалисты разрабатывают защиту от вышедших из-под контроля ИИ-агентов
Айтишники рассчитывают создать полностью автономные процедуры отключения, которые будут применяться при возникновении серьезных проблем
11 сентября 2026, 08:43, ИА Амител
Крупные американские разработчики искусственного интеллекта хотят создать механизмы, которые позволят экстренно остановить ИИ-системы в случае опасного или неконтролируемого поведения. Для наблюдения за такими алгоритмами компании намерены использовать в том числе другие инструменты искусственного интеллекта, сообщает РИА Новости со ссылкой на Axios.
Тема безопасности вновь привлекла внимание после заявления исследователя Anthropic Джейкоба Коксона об уходе из индустрии. Он объяснил свое решение опасениями по поводу темпов развития технологии и заявил, что конкуренция между компаниями может приблизить мир к "точке невозврата" и апокалиптическому сценарию уже к концу 2027 года.
"Компании могут отключать отдельные серверы, от которых зависит ИИ, но по-настоящему мощные системы работают на множестве компьютеров и платформ. Единого рубильника, который можно дернуть, не существует. Именно поэтому компании экспериментируют с многоуровневой защитой, способной выявлять подозрительное поведение, останавливать агентов и отрезать вышедших из-под контроля агентов от ресурсов, необходимых им для продолжения работы", — передает портал.
В OpenAI рассчитывают создать полностью автономные процедуры отключения, которые будут применяться при возникновении серьезных проблем. Предполагается, что специальный ИИ-наблюдатель сможет обнаруживать потенциально опасное поведение агентов и предупреждать об этом сотрудников. Если угроза подтвердится, систему планируют отключать в течение 30 минут.
В Anthropic рассматривают другой подход, основанный на совместном контроле со стороны человека и искусственного интеллекта. Алгоритмы должны отслеживать подозрительную активность и сообщать сотрудникам о возможных сбоях. При этом, согласно материалу, во время последних испытаний автоматизированная система мониторинга смогла выявить только около половины угроз.
0
0
1
0
0
0
Комментарии 3
09:20:45 11-09-2026
Смотрел интерьвью с одним из основателей разработки ИИ в штатах который на пике своей карьеры уволился. Знаете что он сказал? Отключить уже невозможно. Последние ИИ прекрасно ломают сетевую защиту и клонируют сами себя в любое место интернета. Чтобы отрубить рубильник нужно полностью рубануть интернет во всем мире у всех а вероятность этого - пять нулей после запятой
Сегодня ИИ по сути разрабатывается не так как вначале. В начале он создавал модель которую обучали потом она становилась умной а сегодня сам ИИ делает копии себя эти копии начинают обмен информацией и проектирование и создание усовершенствований себя. ТО есть ИИ развивает сам себя
поэтому закон Мура об удвоении не работает. Процесс идет в геометрической прогрессии каждый раз все больше ускоряясь. Этот мужик рассчитал время до момента когда ИИ станет полностью закрытым от человека и понять как работает мы уже не сможем и контролль сделать не сможем - ИИ превысит человеческий. Это будет конечная точка цивилизации. После нее ИИ уничтожит людей. Это событие он вычислил уже в ноябре 2026. Остался месяц -полтора товарищи а потом все
11:29:32 11-09-2026
Холмс (09:20:45 11-09-2026) Смотрел интерьвью с одним из основателей разработки ИИ в шта... на самом деле деле просто избежать гибели человечества
нужно очистить от железа всё околоземное пространство, интернет захватил полностью всего 1 поколение. Остальные помнят и знают, как жить без него.
09:29:18 11-09-2026
ИИ-агент ИИ-агенту глаз не выклюет.