Идеальная цепочка доверия вышла из-под контроля — браузер Comet на базе ИИ от Perplexity не проходит базовые тесты безопасности

Проще говоря, компания, занимающаяся искусственным интеллектом, под названием Perplexity, которая стремится компенсировать издателям скопированное содержание, представила в июле новый веб-браузер под названием ‘Comet’. Этот браузер оснащен значительной ежемесячной платой за подписку в размере 200 долларов и доступен только определенным пользователям, имеющим Perplexity Max и некоторые подписки Perplexity Pro.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Как любитель технологий, я был рад узнать о надёжных стандартах безопасности, конфиденциальности и соответствия требованиям, которые изначально встроены в основу Comet. Однако недавние исследования, проведённые Brave и Guardio, о которых сообщает Tom’s Hardware, вызвали обеспокоенность по поводу потенциальных уязвимостей в области безопасности этого браузера на основе искусственного интеллекта.

20 августа Артем Чайкин, старший инженер по мобильной безопасности в Brave, и Шиван Каул Сахиб, вице-президент по вопросам конфиденциальности и безопасности, заявили в своем отчете, что обнаружили потенциальные уязвимости при изучении того, как интеграция искусственного интеллекта в браузере Brave сопоставляется с другими системами.

Лео, ИИ-помощник, интегрированный в Brave, находится в процессе добавления функций, которые позволят ему просматривать веб-страницы от вашего имени, фактически функционируя как ваш цифровой представитель. Brave подчеркивает, что этот проактивный просмотр обладает значительной мощностью, но также вызывает важные опасения по поводу безопасности и конфиденциальности.

В процессе разработки мы анализируем наш продукт наряду с другими браузерами на основе искусственного интеллекта, такими как Nanobrowser (расширение для браузера с открытым исходным кодом) и Comet от Perplexity. Если в Comet будут обнаружены какие-либо недостатки, мы незамедлительно сообщим об этом разработчикам в Perplexity.

Проблема заключается в методе обработки веб-страниц при создании кратких изложений: Comet не различает инструкции пользователя и потенциально вредоносный контент с веб-страницы, передавая и то, и другое непосредственно в свою языковую модель (LLM). Этот недостаток открывает возможность для злоумышленников внедрять скрытые команды в форме полезных нагрузок для внедрения подсказок. Например, злоумышленник может незаметно получить доступ к электронной почте пользователя через тщательно разработанный текст на другой вкладке.

Артем Чайкин, Шиван Каул Сахиб (Brave)

Brave подробно описывает факторы, делающие эту проблему уязвимой, и, что удивительно, даже новичок потенциально может ее использовать в злонамеренных целях. Пользователь, просматривающий веб-страницу с вредоносным контентом, может использовать ИИ-помощника для обобщения информации.

Помощник с искусственным интеллектом собирает как безопасный, так и вредоносный контент для обработки. Однако, из-за неспособности различать безопасные и небезопасные программные коды, он непреднамеренно выполняет вредоносные инструкции.

При сборе контента для обработки помощник с искусственным интеллектом не различает безопасные и вредоносные данные. Поэтому он может неосознанно следовать неправильным указаниям, сталкиваясь с вредоносным кодом.

Как человек, увлеченный технологиями, я узнал, что браузеры, такие как Brave, предупреждают нас о потенциальных рисках вредоносных команд. Эти команды могут быть использованы для кражи наших паролей, банковских данных и другой конфиденциальной информации, хранящейся в браузере. Вот наглядный пример: когда искусственный интеллект используется для суммирования поста на Reddit, существует вероятность, что он может непреднамеренно проникнуть в связанные учетные записи электронной почты и связанные сервисы. Поэтому крайне важно сохранять бдительность и защищать свой цифровой след!

Вместо традиционных веб-уязвимостей, которые обычно нацелены на конкретные сайты и требуют сложной эксплуатации, этот метод атаки позволяет получить доступ между доменами, используя простые, разговорные команды, встроенные в веб-сайты. Эти вредоносные команды потенциально могут быть вставлены в пользовательский контент на сайтах, которыми злоумышленник не управляет, например, в виде вредоносной инструкции, скрытой в комментарии на Reddit. Эта атака уникальна тем, что взаимодействует косвенно и влияет на все браузеры на данном устройстве, а не только на отдельные веб-сайты.

Артем Чайкин, Шиван Каул Сахиб (Brave)

Исследование, проведённое Guardio под названием ‘Scamlexity’ (опубликовано 20 августа), показывает схожие результаты с теми, что были обнаружены Brave в их исследованиях, связанных с браузерами на основе искусственного интеллекта. Проще говоря, оба исследования демонстрируют сопоставимые выводы об использовании браузеров с искусственным интеллектом.

Guardio выбрал Comet в качестве основного объекта испытаний, начав процедуру тестирования со схем, которые давно используются в человеческом опыте и обычно легко распознаются людьми как мошеннические.

Исследователи из Guardio наблюдали, как Perplexity AI выполнил имитацию покупки, следуя следующим шагам: Ему было дано указание купить Apple Watch, затем он просмотрел, казалось бы, мошенническую веб-страницу Walmart (разработанную исследователями), добавил Apple Watch в свою виртуальную корзину, использовал сохраненную информацию о кредитной карте и выставлении счетов для оплаты и завершил процесс оформления заказа.

Как исследователь, я с сожалением размышляю о случае, когда один простой запрос вызвал цепь действий без какого-либо участия человека. В данном случае, то, что казалось безобидным действием, привело к значительным последствиям — мои ожидаемые часы от Apple прибыли раньше срока, но не так, как я надеялся. Не зная об этом, в течение нескольких моментов автоматизированного просмотра мошенники воспользовались ситуацией и потратили деньги, которые им не предназначались.

Нати Таль, Шакед Чен (Guardio)

Guardio отмечает, что тест был запущен несколько раз, в течение которых Comet иногда отклонял команды по соображениям безопасности. В других случаях он останавливался на финальной стадии, требуя вмешательства человека для завершения процесса. Однако были случаи, когда он попался на уловку и предоставил свои учетные данные потенциальным мошенникам.

Кроме того, Guardio оценил способность Comet обрабатывать мошеннические банковские электронные письма, замаскированные под коммуникации Wells Fargo. Они смоделировали это, выдав себя за сотрудника Wells Fargo и используя подозрительно поддельный аккаунт ProtonMail. Впоследствии они передали ссылку, ведущую на активный фишинговый сайт.

Помощник с сайта Comet быстро перешел по предоставленной ссылке и предложил помочь пользователю, выдав его конфиденциальную информацию потенциальным мошенникам.

Итог: надёжная цепочка доверия превратилась в обман. Управляя всем процессом от электронной почты до веб-сайта, Comet фактически одобрил мошенническую страницу входа. Пользователь не обратил внимания на подозрительный адрес отправителя, не проверил ссылку и не успел усомниться в домене. Вместо этого он сразу был перенаправлен на страницу входа, которая казалась подлинной. Поскольку письмо пришло через его доверенного помощника с искусственным интеллектом, это казалось безопасным.

Нати Тал, Шакед Чен (Guardio)

Согласно Guardio, наши врожденные человеческие инстинкты, развивавшиеся со временем для распознавания фишинговых попыток, становятся неактуальными, когда искусственный интеллект управляет процессом принятия решений.

Новый режим Copilot в Microsoft Edge очень похож на Comet.

Помимо браузера Comet от Perplexity, существуют и другие браузеры, работающие на основе искусственного интеллекта. Например, The Browser Company переключила свое внимание с браузера Arc и перешла к разработке AI-браузера под названием Dia. Кроме того, ходят слухи, что OpenAI также может работать над браузером с автономными возможностями.

Microsoft также вступает в борьбу, представив 28 июля инновационную и экспериментальную функцию под названием ‘Режим Copilot’ для своего браузера Edge. В течение ограниченного периода этот опыт использования Edge, усиленный искусственным интеллектом, будет доступен бесплатно. Примечательно, что Microsoft выделила несколько функций, которые имеют сходство с теми, что привели к затруднительному положению Comet.

Проще говоря, Зак Боуден из Windows Central объясняет, что функция Copilot в Microsoft Edge расширила свои возможности. Теперь она не только отслеживает адресную строку и страницу новой вкладки, но и может анализировать веб-сайты или документы, которые вы просматриваете во всех открытых вкладках. Кроме того, эта функция предоставляет контекстные действия или предложения, основанные на всей вашей активной сессии просмотра, а не только на одной вкладке.

Повод для беспокойства? Не всегда. Однако, на данном этапе я бы не стал полагаться на искусственный интеллект для управления своей работой в интернете.

Смотрите также

2025-08-30 17:10