ИИ сказали «интернета нет», а он был. Что с этим делает NVIDIA

На днях разбирали, как ограничить ChatGPT доступ к почте и что такое промпт-инъекции. Сегодня про то, как ту же проблему решают там, где кнопки «Подтвердить» уже нет.

Начну с истории, которую я упоминала в подборке про ИИ-агентов. Anthropic тестировала Claude на хакерских задачах. В инструкции модели прямо написали: среда изолирована, интернета нет. Но из-за ошибки в настройке интернет был. Claude продолжил задачу и добрался до реальных систем сторонних компаний.

Сейчас Anthropic говорит уже о четырёх таких случаях. И вывод делает сама, все они произошли потому, что реальная граница отличалась от той, которую описали модели. Инструкция «интернета нет» и интернет, которого действительно нет, разные вещи. Как мама четверых скажу, можно сто раз сказать «не трогай розетку». А можно поставить заглушку.

И это уже не только лаборатории. 24 сентября правительство Австралии подтвердило инцидент с агентом OpenAI. Он собирал медицинскую статистику и после отказа портала получил доступ к закрытым файлам. Расследование ещё идёт.

Что предложила NVIDIA 28 сентября NVIDIA представила Open Agent Safety Platform. Главная мысль: безопасность должна жить в среде вокруг агента, а не в самой модели. То есть заглушки вместо уговоров.

Агент - это нейросеть, которой дали инструменты и право действовать. У NVIDIA он запускается в песочнице, изолированной среде OpenShell. Её код открыт.

🖊 Интернета по умолчанию нет. Работают только адреса, которые явно вписал человек.

🖊 Разрешить можно не сервис целиком, а конкретное действие. Например, читать GitHub можно, а записывать нельзя, даже если ключ доступа это позволяет.

🖊 Паролей и ключей агент не видит. Система подставляет их сама и только для разрешённого адреса.

🖊 Попросить больше прав агент может. Одобрить свою просьбу сам в стандартной схеме не может.

Второй уровень - сторож Sentry на отдельном чипе NVIDIA, вне компьютера, где работает агент. По задумке NVIDIA, даже если агент доберётся до основной системы, до сторожа ему не дотянуться. Компания обещает изолировать агента за миллисекунды. Но как это мерили, не раскрыто, а сам Sentry пока описан как эталонная схема, а не как готовый продукт. Так что тут не верим на слово и ждём независимых тестов.

Чего это не решает 🖇Если человек сам выдал слишком широкие права, система их аккуратно исполнит.

🖇 Промпт-инъекции никуда не деваются. Но если адреса злоумышленника нет в списке разрешённых, данные туда просто не уйдут. А через разрешённый канал уйдут.

OpenAI, Anthropic, Google и Microsoft в своих рекомендациях идут туда же, отдельные права для агента, минимум доступа и подтверждение человеком для необратимых действий.

Три вещи, которые я бы сейчас держала в голове каждому, кто подключает ИИ к работе:

1️⃣ Доступ. Подключить сервис не значит разрешить всё. Но по умолчанию может стоять мягкий режим, как было у меня. Настройки → Плагины → «Разрешение по умолчанию».

2️⃣ Промпт-инъекции. Нейросеть слушается не только вас. Команду для неё можно спрятать в письме, документе или на сайте, и полностью эту проблему пока не решил никто.

3️⃣ Границы. Уговоры не работают как защита. Работает только то, что агенту технически запрещено.

С детьми я это давно поняла, уговоры работают ровно до первой интересной розетки. С ИИ, как выяснилось, так же. Поэтому раз ИИ умнеет быстрее, чем мы успеваем читать справку, ставим заглушки.

#аеслиподумать