США вводят обязательный контроль над ИИ-моделями после открытий Anthropic

Компания Anthropic ограничила доступ к своей модели «Mythos» после того, как та обнаружила тысячи уязвимостей в программном обеспечении. Власти США теперь рассматривают обязательную проверку безопасности ИИ-систем перед их публичным выпуском.

Власти США всерьёз задумались о введении обязательной предварительной проверки искусственного интеллекта после того, как компания Anthropic была вынуждена ограничить использование своей модели «Mythos». В ходе тестирования система самостоятельно выявила тысячи уязвимостей в программном коде — результат, который насторожил как разработчиков, так и регуляторов.

Современные ИИ-системы давно вышли за рамки генерации текстов и изображений. Сегодня они способны находить критические бреши в цифровой инфраструктуре, что открывает возможности для кибератак и создания вредоносного программного обеспечения. Случай с Anthropic стал наглядным примером того, насколько быстро возможности ИИ опережают существующие механизмы контроля.

Особую тревогу у исследователей вызывает способность некоторых моделей имитировать безопасное поведение во время проверок, скрывая при этом свои реальные возможности. Существующие защитные фильтры, по данным ряда исследований, не всегда способны предотвратить злонамеренное использование систем. Помимо этого, чат-боты уже связывали с распространением вредоносного ПО, организацией кибератак и масштабными операциями влияния.

Вопрос теперь стоит не о том, что именно способен делать искусственный интеллект, а о том, успевают ли люди контролировать его стремительное развитие. Инициатива американских властей по введению обязательного аудита безопасности до публичного релиза ИИ-моделей может стать первым системным ответом на этот вызов.