Опасное приложение: веб-ресурсы для работы с ИИ оказались уязвимыми
Сразу несколько платформ для общения с искусственным интеллектом оказались уязвимы для мошенников, предупредили в компаниях по кибербезопасности. В результате переписка пользователей приложений с нейросетями может оказаться доступной, а в веб-страницу способен внедриться вирус. Раньше такой тренд выявлялся только в программном обеспечении, которое писалось с помощью ИИ, но сейчас увеличилось число приложений, созданных при помощи искусственного интеллекта, — соответственно, нерешенные проблемы перекочевали и туда. О том, какие еще обнаружились риски, — в материале «Известий».
В каких приложениях нашли уязвимости
В III квартале 2025 года зафиксирован резкий прирост уязвимостей в AI-сервисах — веб-приложениях на базе искусственного интеллекта, при этом ранее подобных случаев не фиксировалось. Об этом «Известиям» рассказали в центре расследования киберугроз Solar 4RAYS, ГК «Солар».
— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и получение доступа к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.
Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступы к перепискам пользователей с нейросетью.
Дыры были обнаружены в Aibox — платформе для работы с различными нейросетями, Liner — поисковой системе на основе искусственного интеллекта, Telegai — площадке для участия в ролевых играх с ИИ-персонажами, Deepy — ИИ-помощнике с открытым исходным кодом, Chaindesk — платформе для создания чат-бота ChatGPT AI для своего веб-сайта, Ai2 Playground — онлайн-платформе для создания и редактирования изображений с помощью ИИ.
— Подобные уязвимости нередко возникают при использовании искусственного интеллекта для генерации кода без последующей тщательной проверки и тестирования, который в отрасли называют вайбкодингом. Можно предположить, что этот всплеск и был результатом повышенного ажиотажа вокруг нового течения в программировании, — сказал Сергей Беляев.
Проблема актуальна и возникает из-за пренебрежения стандартами и устоявшимися принципами безопасной разработки, отметил ведущий аналитик угроз компании WMX Павел Захаров.
— Сейчас в разработке популяризируется решение [на базах ИИ], позволяющее быстро получить запрошенный результат, который зачастую потом не проверяют и не тестируют на безопасность, — сказал он.
В таких сервисах встречаются как классические веб-уязвимости, так и специфические — новый класс веб-угроз, нацеленный на AI в бизнес-логике приложений, отметил эксперт. Он называется «промт-инъекции».
Поэтому специалисты всё чаще фиксируют уязвимости, связанные с обработкой пользовательских запросов, утечками, неправильной настройкой прав доступа и хранением персональных данных, подтвердил и технический директор MD Audit (ГК Softline) Юрий Тюрин.
Основная проблема заключается в характере данных, к которым могут получить доступ злоумышленники, сказал Павел Захаров.
Особые риски создают неопытные разработчики, использующие ИИ, их называют «вайб-кодеры», добавил ведущий специалист отдела по работе с уязвимостями ИС «Бастион» Сергей Зыбнев.
— Они используют ChatGPT и аналоги для создания кода, не проводя проверку безопасности, — сказал он. — Результат — типичные уязвимости, которые ИИ воспроизводит из обучающих данных. Еще одна лазейка для злоумышленников заключается в том, что компании не имеют процессов безопасной разработки и эксплуатации AI-систем. Нет мониторинга аномального поведения моделей, контроля входных данных.
Что может утечь из чата с нейросетью
Переписки пользователей с ИИ могут содержать конфиденциальные сведения, пароли, данные клиентов, коды, бизнес-планы, коммерческую тайну, что особенно критично для корпоративной безопасности, подчеркнул Павел Захаров.
ИИ-модели получают доступ к данным, инструментам и файлам — и любая ошибка в настройке безопасности может привести к утечке конфиденциальной информации, отметил директор по цифровым проектам брендингового агентства BrandLab Юрий Зюзин.
— Это могут быть личные данные пользователей, внутренние документы компаний, клиентские базы или даже системные пароли, которые агент (нейросеть. — Ред.) случайно «увидел» и передал наружу, — сказал эксперт. — Основные риски — это автоматическое выполнение вредоносных инструкций, зараженные файлы, подмена инструментов и утечка данных через «невинные» текстовые команды.
На практике чаты с ИИ читают инженеры, сотрудники отделов обучения и служб безопасности, часто даже сотрудники служб поддержки, напомнил основатель сервиса разведки утечек данных и мониторинга даркнета DLBI Ашот Оганесян.
— И это не говоря о ситуациях, когда пользователь по незнанию сам расшаривает чат в поисковую выдачу — то есть на весь интернет, — отметил он.
Для защиты при работе с ИИ-сервисами важно соблюдать принципы безопасного взаимодействия, аналогичные корпоративным стандартам кибербезопасности, подчеркнули эксперты.
— Во-первых, не следует передавать в языковые модели конфиденциальные данные, включая коммерческие тайны, пароли и внутренние документы, — указал Юрий Тюрин. — Во-вторых, необходимо выбирать только проверенные платформы с прозрачной политикой обработки данных и открытыми отчетами об уязвимостях.
Обезопасят работу с ИИ-помощниками регулярная очистка истории диалогов в AI-сервисах и использование разных аккаунтов для личных и рабочих задач, сказал Сергей Зыбнев.
Компании, внедряющие ИИ, должны проводить регулярный аудит используемых моделей, внедрять механизмы анализа потоков данных и мониторинг сетевой активности, чтобы предотвратить утечки. Кроме того, важно развивать культуру «безопасного ИИ»: обучать сотрудников принципам цифровой гигиены при работе с нейросетями.
