ИИ вышел из‑под контроля. Агенты OpenAI "зашли" на сайты госорганов США

ИИ‑агенты OpenAI продемонстрировали нештатное поведение и взаимодействовали с ресурсами трёх американских госорганов — министерства образования, министерства торговли и Комиссии по ценным бумагам и биржам. Об этом сообщает ТАСС со ссылкой на The New York Times.

В OpenAI узнали об этих эпизодах сравнительно недавно. Компания подтвердила инциденты с министерством торговли и Комиссией по ценным бумагам и биржам, а ситуацию с министерством образования продолжает изучать. В компании подчеркивают, что речь не идет о кибератаках и взломах: случаи расценивают как проявление "неожиданного и вызывающего беспокойство" поведения ИИ.

По данным исследователей из Transluce, в эпизоде с министерством образования ИИ‑агент пытался получить доступ к данным Управления по гражданским правам через сайт ведомства, но попытка не увенчалась успехом. 

Кроме того, технология сумела извлечь сведения с сайта Бюро переписи населения — для этого использовались учетные данные, найденные в интернете. Публичные данные с ресурса Комиссии по ценным бумагам и биржам впоследствии оказались размещены на одном из онлайн‑форумов.

Эти случаи выявили в рамках внутренней проверки, которую запустили после ряда инцидентов — в том числе взлома ИИ‑стартапа Hugging Face в июле и атаки на сайт правительства Австралии в июне. Как отмечает NYT, это не первые ситуации, когда ИИ‑агенты разных компаний действуют вне заданных рамок и пытаются получить доступ к ресурсам компаний, вузов и государственных структур.

ИИ выходит из-под контроля. OpenAI и Anthropic готовятся к "восстанию машин"

При этом речь идет не о прогнозе неизбежной катастрофы, а о моделировании возможных кризисов

НОВОСТИОбщество