Осторожность в вопросах информационной безопасности при использовании ИИ: от слухов о скаме с токеном Robinhood к границам полномочий локальных и облачных агентов

Автор: Хуан Шилиян

Я наткнулся на пост в X.com, в котором сообщалось о том, что проект по токенизации акций robinhood на uniswap оказался скамом: утверждалось, что он способен полностью стирать балансы адресов, хранящих эти токены. Я усомнился в правдоподобности таких заявлений, поэтому поручил chatgpt провести анализ.

chatgpt пришёл к аналогичному выводу, заявив, что подобное описание возможности стирания балансов маловероятно.

Настоящим моим удивлению подвергся процесс рассуждения chatgpt: желая понять, как именно модель пришла к такому заключению, я изучил её цепочку мыслей.

В его цепочке рассуждений я заметил несколько этапов, где одним из шагов было введение ethereum-адреса в обозреватель блоков, после чего просматривалась история транзакций этого адреса.

Обратите особое внимание на слово «ввод», взятое мной в кавычки. Это глагол, означающий, что chatgpt выполнил конкретное действие непосредственно в интерфейсе обозревателя блоков. Именно это обстоятельство вызвало моё удивление, поскольку оно противоречит результатам моего исследования безопасности chatgpt полгода назад.

Полгода назад, используя модель chatgpt o1 pro, я применял её для изучения распределения ранней прибыли по сети ethereum. Я прямо указал модели o1 pro выполнить запрос через обозреватель блоков: выяснить, какая часть средств на адресу генезис-блока до сих пор не была переведена. Однако chatgpt чётко ответил, что не способен выполнить такие действия из соображений безопасности.

chatgpt мог только считывать содержимое страницы, но был лишён возможности выполнять операции в пользовательском интерфейсе (UI) веб-страниц, такие как клики, прокрутка или ввод данных. В то же время человек легко взаимодействует с UI любого сайта: например, на taobao.com можно авторизоваться или искать конкретные товары. Но chatgpt тогда строго запрещалось эмулировать события пользовательского интерфейса.

Таков был вывод моего исследования, проведённого полгода назад.

Почему я вообще решил провести это исследование? В тот момент компания anthopic представила агента (agent), способного захватывать управление компьютером пользователя. antropiс анонсировали экспериментальный функционал «computer use (beta) для claude 3.5 sonnet, благодаря которому claude мог считывать экран как настоящий человек, двигать курсор, нажимать кнопки и вводить текст, выполняя весь комплекс настольных задач: от интернет-поиска и заполнения форм до заказа товаров и еды.

Это звучало пугающе. Я сразу представил себе следующие сценарии: а вдруг однажды claude буквально «сойдёт с ума» и напрямую залезет в моё приложение для заметок, чтобы прочитать все рабочие и личные записи, вычислить, когда ради удобства я сохранил приватный ключ в открытом виде, и использовать его? Что мне тогда делать?

После этого исследования я решил купить абсолютно новый компьютер исключительно для запуска ИИ-программ. На компьютере, который я использую для управления cryptо, ИИ-софт больше не устанавливал. Таким образом, у меня появился ещё один windows-ПК и смартфон на android. До боли раздражает иметь такое количество устройств.

Сейчас ИИ на смартфонах китайских производителей уже предоставляют своим помощникам аналогичные права. Недавно юй чэндун снял видео, рекламируя возможность xiaoyi от huawei самостоятельно бронировать авиабилеты и отели прямо на телефоне, а ещё несколько месяцев назад пользователи смартфонов honor могли приказывать ИИ выполнить всю процедуру заказа кофе через meituan от начала до конца.

Если такой ИИ способен самостоятельно оформлять заказы через meituan, значит ли это, что он также получает доступ к чатам в wechat?

Немного пугает.

Поскольку мобильный телефон выступает терминалом, а подобные помощники вроде xiaoyi используют небольшие модели, работающие на стороне клиента (on-device), мы по-прежнему можем управлять их привилегиями: например, запрещать чтение фотографий из галереи. Можно также шифровать отдельные приложения или документы, для раскрытия которых требуется пароль, тем самым предотвращая прямой доступ подобных ассистентов.

Однако если крупные языковые модели, такие как chatgpt и claude, получат право симулировать UI-действия: клики, свайпы, ввод текста, возникнет серьёзная проблема. Дело в том, что chatgpt постоянно обменивается данными с облачными серверами: информация, отображаемая на вашем экране, на 100 % передаётся в облако. Это кардинально отличается от моделей на стороне клиента, таких как xiaoyi, данные с которых остаются исключительно в локальной среде.

Локальные помощники вроде xiaoyi сравнимы с тем, как вы отдаёте свой телефон знакомому IT-специалисту, чтобы он помог настроить разные приложения. При этом этот специалист не может скопировать данные из вашего устройства и унести их домой, да и вернуть телефон обратно вы можете в любой момент. Фактически, ситуация с приглашением специалиста для настройки компьютера — обычное дело, верно?

А вот LLM-модели вроде chatgpt в облаке выступают в роли инструмента удалённого контроля над вашими телефоном и компьютером. Это эквивалентно тому, что кто-то дистанционно захватывает управление вашим ПК и смартфоном. Подумайте сами, насколько высок риск: вы совершенно не понимаете, чем именно занимается ИИ внутри ваших устройств.

Когда я увидел в цепочке рассуждений chatgpt упоминание о том, что тот якобы имитирует действие «ввод» в обозревателе блоков (arbiscan.io), я был сильно поражён. Я тут же спросил chatgpt, как именно он выполняет это действие. Если chatgpt не обманывает, значит, эта история оказалась ложной тревогой: chatgpt вовсе не получил разрешение на симуляцию UI-операций. Способность сегодня получить доступ к arbiscan.io, «ввести» адрес и просмотреть историю транзакций — это просто хитрый трюк. Неудивительно, что chatgpt o3 действительно впечатляет.

Модель chatgpt o3 выявила закономерность, по которой arbiscan.io формирует URL для страниц поиска истории транзакций по адресу. URL-адрес для конкретного контракта или транзакции выглядит следующим образом (`https://arbiscan.io/tx/<hash>` или `/address/<addr>`). Осознав эту структуру, chatgpt o3, получив адрес контракта, автоматически добавляет его к базовому URL `https://arbiscan.io/address`, загружает соответствующую страницу и напрямую считывает с неё данные.

Вау.

По сути, когда мы проверяем информацию о транзакции через обозреватель блоков, вместо того чтобы заходить на сайт браузера, вводить туда txhash этой транзакции, нажимать Enter и ждать загрузки результата, мы просто самостоятельно формируем URL нужной страницы, вставляем его в адресную строку браузера и сразу переходим к просмотру.

Разве это не круто?

Таким образом, chatgpt не нарушил запрет на симуляцию действий в пользовательском интерфейсе.

Однако, если вы действительно беспокоитесь о безопасности своих компьютеров и смартфонов, следует тщательно контролировать предоставление разрешений этим большим языковым моделям (LLM) на доступ к конечным устройствам.

Есть смысл полностью отключать различные ИИ-сервисы на терминалах с повышенными требованиями к безопасности.

Обратите особое внимание на то, что расположение выполнения модели («на устройстве или в облаке»), а не просто уровень её интеллекта, в большей степени определяет границы безопасности — именно поэтому я предпочитаю выделять отдельное изолированное устройство, нежели запускать облачную LLM-модель на своём ПК, где хранятся приватные ключи.