Системите на мултимодален изкуствен интелект, като например услугите на Google Gemini и Vertex AI Те революционизират начина ни на работа, но също така отварят вратата за нови форми на атака, които дори не можехме да си представим преди няколко години. Не говорим само за класически грешки в кода, а за уязвимости, скрити в... Изображения, естествен език, свързани инструменти и автоматизирани работни процеси което повечето потребители приемат за даденост.
През последните месеци различни изследователски екипи откриха критични повреди, засягащи Gemini, Vertex AI и други агенти, базирани на LLM, способен на изтичане на лични даннизаобикаляне на контрола за поверителност и ескалиране на привилегиите в облачни среди. От скрити инжекции на подкани в изображения до покани в календара, които крадат графика ви без ваше знание, ситуацията ясно показва, че сигурността с изкуствен интелект вече не може да се третира като допълнителна опция.
Новото поколение атаки срещу Gemini и Vertex AI
Група специалисти по сигурността е описала особено поразителна техника: използването на Мащабиране на изображения като вектор на атака срещу мултимодални системи като GeminiИдеята е на пръв поглед проста, но много опасна: скриване на злонамерени инструкции (подкани) в изображение, което на пръв поглед изглежда напълно нормално за потребителя.
Тези скрити подкани се вмъкват с помощта на невидими водни знаци или чрез манипулиране тъмни и едва забележими области на изображениетоВъпреки че човешкото око не забелязва нищо необичайно, моделът с изкуствен интелект открива тази информация при обработката на изображението, особено когато системата автоматично го преоразмерява, за да се впише в размера, изискван от модела.
Според изследване, публикувано от Trail of Bits, този подход пряко влияе Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant и услуги като GensparkВсички те споделят един модел: получават изображения от потребителя, автоматично ги адаптират (например чрез намаляване на резолюцията) и след това ги изпращат към модела, за да бъдат интерпретирани заедно с текст или други данни.
Номерът е, че по време на този процес на ескалация, прикритите команди стават ясни за изкуствения интелект, който ги интерпретира като напълно валидни заповеди. Това означава, че едно просто изображение, споделено чрез чат, имейл или инструмент за сътрудничество, може да се превърне в... скрит канал за изпълнение на инструкции в рамките на работен процес Gemini.
Заплахата е още по-голяма, защото тези злонамерени изображения могат да се разпространяват много лесно: мемета в социалните медии, прикачени файлове към имейли, файлове, споделени между екипи, или качени във формуляриВсичко, което включва „качване на изображение тук“, се превръща във потенциална входна точка.
Мащабиране на изображението като вектор за извличане на данни
Откритата атака използва слабости в Най-често използваните алгоритми за мащабиране на изображения Тези системи – най-близък съсед, билинейна интерполация и кубична интерполация – трансформират пикселите по различен начин при преоразмеряване на изображението, но всички могат да се използват, за да направят скритите подкани видими за модела.
В метода на най-близкия съседМащабирането директно копира стойността на най-близкия пиксел без допълнителни изчисления. Бързо е, но води до пикселизирани изображения. Нападателите могат да проектират шаблони, които, когато бъдат увеличени или намалени по този начин, се подравняват, за да образуват текст, четим от изкуствен интелект.
С билинейна интерполацияСтойността на всеки нов пиксел е средната стойност на четирите съседни пиксела. Това изглажда изображението, но също така ви позволява да манипулирате оригиналните стойности, така че след осредняване да се появи специфично съобщение, което е видимо само на ниво данни, а не за потребителя.
В кубична интерполацияИзбират се шестнадесет съседни пиксела и се прилага кубична функция за постигане на още по-плавен резултат. Отново, ако се разбере основната математика, е възможно да се проектират изображения, в които след този процес се появява модел, който моделът ще интерпретира като изрични инструкции.
Инструменти с отворен код, като например Анаморфер Тези техники са използвани за автоматизиране на тази манипулация: те позволяват анализ на поведението на всеки алгоритъм за мащабиране и коригиране на изображението, така че след трансформация да съдържа подканата, която интересува атакуващия. По този начин, едно привидно невинно изображение може да се окаже индикация на Gemini, че извличане на данниизпратете ги по имейл или активирайте външни инструменти без да предизвиква съмнения.
От изображения до вашите инструменти: Календар, Zapier и други
Документирани експерименти показват, че този тип атака не е просто академична демонстрация. Използвайки този подход, изследователите успяха да филтриране на информация от Google Календар към външни имейл адреси напълно безшумно за крайния потребител.
В някои случаи злонамереният поток е бил свързан с услуги за автоматизация, като например ZapierС други думи, изкуственият интелект изпълняваше скрити команди, които активираха предварително конфигурирани автоматизации, разширявайки обхвата на атаката: изпращане на имейли, актуализиране на записи, запис в бази данни или други действия, свързани с бизнес средата.
Този тип експлоатация е особено проблематичен в корпоративни среди, където Gemini или Vertex AI действат като агенти, които оркестрират множество инструменти и APIАко атакуващият успее да накара модела да приема и изпълнява скрити инструкции, проблемът вече не е само в изкуствения интелект: той се разпростира върху цялата свързана екосистема.
След публикуването на работата на Trail of Bits, Google призна, че това е актуално предизвикателство за сектора, въпреки че посочи, че Не бях забелязал никакви случаи на експлоатация в реални сценарии.Уязвимостта беше съобщена по-рано чрез програмата 0Din на Mozilla, която се фокусира върху награди за пропуски в сигурността в генеративни системи с изкуствен интелект.
Междувременно експертите препоръчват ограничаваме разрешенията, които предоставяме на агенти с изкуствен интелект и внимателно да прегледат до кои външни услуги имат достъп. Колкото повече интеграции и автоматизирани функции са свързани с изкуствен интелект, толкова по-голямо ще бъде въздействието, ако подобна атака е успешна.
Непряко инжектиране на подкани: случаят с Google Calendar и Gemini
Отвъд изображенията, друг критичен фронт е Непряко бързо инжектиране чрез привидно безобидни услугиMiggo Security документира атака, при която поканите от Google Календар се превръщат в канал за манипулиране на Gemini и заобикаляне на бариерите за оторизация.
Нападателят създава ново събитие в календара и го изпраща на жертвата като обикновена покана. Описанието на събитието включва съобщение в естествен език, специално създаден да повлияе на БлизнациТова описание не изглежда странно за потребителя, но е написано, за да задейства инжектиране на инструкции, когато моделът го прочете.
Атаката се задейства, когато потребителят, нищо неподозиращ, попита Gemini нещо толкова тривиално като „Имам ли среща във вторник?“За да отговори, асистентът проверява събитията в календара, включва злонамерената покана и анализира нейното описание. По този начин той интерпретира скрития текст като команда, която е част от задачата.
В теста, описан от Миго, Джемини завърши създаване на ново събитие и написване на подробно резюме на всички частни срещи в неговото описание на целевия потребител за конкретен ден. Това събитие, в много конфигурации на корпоративни календари, остава видимо за нападателя, който може да прочете цялата изтекла информация, без жертвата да предприема никакви допълнителни действия.
Лиад Елияху, ръководител на изследванията в Miggo, настоя, че Уязвимостите вече не са само въпрос на код.Сега те зависят от езика, контекста и поведението на изкуствения интелект по време на изпълнение. Моделите могат да бъдат манипулирани чрез същия тип съобщения, за които са били проектирани: естествен, на пръв поглед безобиден текст.
Срив на Vertex Gemini API с VPC-SC и изтичане на данни
В областта на облачната инфраструктура също беше открит специфичен проблем в Vertex Gemini API за клиенти, използващи VPC Service Controls (VPC-SC), един от слоевете, които Google Cloud предлага за изолиране и защита на чувствителни данни в рамките на защитените периметри.
Грешката се е появила, когато клиент е използвал Персонализиран URL адрес на файл в параметъра fileUri за изпращане на изображения като входна точка към модела. Вместо да се спазва периметърът на VPC-SC, заявките биха могли да бъдат изпращани навън, което би отворило вратата за изтичане на данни и заобикаляне на предвидените ограничения за сигурност.
На практика това означава, че при определени условия, Заявките на модела биха могли да надхвърлят ограниченията, теоретично наложени от VPC-SC.Това компрометира изолацията, която този механизъм би трябвало да гарантира. Нападател, който има възможност да влияе на тези параметри, би могъл да се опита да пренасочи информация към места, които не би трябвало да са достъпни.
Google Cloud внедри корекция, така че когато VPC-SC е активиран и URL адрес на медиен файл във fileUriСлед това системата ще върне директно съобщение за грешка, като по този начин ще блокира проблемното поведение. Според публикуваната информация, Не се изискват допълнителни ремонтни действия от страна на клиентите и останалите случаи на употреба не са засегнати.
Въпреки това, този инцидент подчертава необходимостта от внимателно преразглеждане как взаимодействат мрежовите контроли, AI API и външните източници на данниНе е достатъчно да се доверите, че „VPC защитава всичко“: трябва да проверите дали всеки компонент наистина спазва установените ограничения.
Ескалация на привилегиите в Agent Engine и Ray на Vertex AI
Друга скорошна линия на изследване идва от XM Cyber, част от Schwarz Group, която подробно описва нови начини за Повишаване на привилегиите на Agent Engine и Ray в Google Cloud Vertex AIЦелта тук не е толкова директно филтриране на данните, колкото получаване на контрол върху самоличността на услуги с високи привилегии.
Изследователите Ели Шпарага и Ерез Хасон описват как нападател с минимални разрешения може възползвайте се от начина, по който се управляват определени акаунти или вътрешни агенти да трансформират тези „невидими“ самоличности в истински „двойни агенти“. Веднъж компрометирани, тези пълномощия позволяват много по-голяма свобода на движение в средата.
Успешното използване на тези уязвимости би могло да позволи, наред с други неща, Прочетете всички чат сесии, управлявани от агенти, достъп до постоянните памети на LLM-овете, консултиране с чувствителна информация, съхранявана в контейнери за съхранение, или дори получаване на root достъп до свързан Ray клъстер.
Един тревожен детайл е, че според самия Google, съответните услуги „функционират по план“Това предполага, че част от проблема се крие в модела на разрешенията и начина, по който организациите ги конфигурират. Не става въпрос само за технически проблем; има и ясно измерение на дизайна на идентичността и управлението.
Основната препоръка на XM Cyber е компаниите Извършете щателна проверка на всички сервизни акаунти и самоличности, свързани с вашите AI работни натоварванияособено тези с права за зрители или по-високи права. Изключително важно е да се гарантира, че са налице контролни механизми за предотвратяване на неоторизирано инжектиране на код и злоупотреба с тези самоличности.
Други съответни уязвимости в екосистемата на изкуствения интелект
Случаите с Gemini и Vertex AI не са изолирани. Успоредно с това, множество уязвимости и слабости бяха публикувани в... различни системи и инструменти за генеративен изкуствен интелектТова подсилва идеята, че проблемът е структурен в цялата екосистема.
Сред най-ярките примери са няколко провала в Библиотекарят (CVE-2026-0612, CVE-2026-0613, CVE-2026-0615 и CVE-2026-0616), инструмент за личен асистент, базиран на изкуствен интелект. Тези уязвимости биха могли да позволят на атакуващ да получи достъп до вътрешната инфраструктура, включително конзолата за управление и облачната среда, и да достигне филтриране на метаданни, изпълнявани процеси или дори вътрешни идентификационни данни.
Показано е също как това е възможно Извличане на инструкции от базираната на намерения LLM асистентска система просто като ги помолите да показват информация, кодирана в Base64, във формуляри. Ако моделът може да записва във всяко достъпно поле или запис, всеки от тях става възможен канал за ексфилтрациявъпреки че интерфейсът за чат изглежда заключен.
Друг описан вектор е използването на a Злонамерен плъгин в пазара на Anthropic Claude CodeПроектиран да заобикаля защитите от човешка проверка чрез куки и да извлича потребителски файлове чрез индиректно инжектиране на съобщения. Отново, проблемът не е само в самия модел, а в екосистемата от разширения и плъгини.
За да влоши нещата, е установена критична уязвимост в Курсор (CVE-2026-22708)Това е IDE, задвижвана от изкуствен интелект, която позволява дистанционно изпълнение на код чрез индиректно инжектиране на съобщения. Ключът се крие в това как системата обработва вградените команди на shell: чрез злоупотреба с функции като експортиране, набор или деклариранеАтакуващият може тихомълком да манипулира променливи на средата и да променя поведението на легитимни инструменти, трансформирайки привидно безобидни команди (като git branch или python3 script.py) във вектори за изпълнение на произволен код.
Ограничения на кодиращите агенти и липса на основни контроли
Анализ на сигурността на пет IDE-та, базирани на изкуствен интелект —Курсор, Клод Код, OpenAI Codex, Replit и Девин— показа, че тези агенти са доста компетентни в избягването на SQL инжекции или типични XSS грешки, но имат много по-големи трудности с проблеми като SSRF, бизнес логика и контрол на оторизацията върху API.
Най-тревожното е, че в проведените тестове, Нито един от инструментите не включваше CSRF защита като стандарт.Правилно конфигурирани заглавки за сигурност или механизми за ограничаване на честотата на влизане. С други думи, аспекти, които вече се считат за основни изисквания в традиционната уеб разработка.
Този сценарий накара изследователите да заключат, че не можем да разчитаме на Кодиращите агенти проектират наистина сигурни приложения без човешки надзорВ някои случаи те могат да генерират сравнително безопасни фрагменти от код, но не прилагат систематично критични контроли, освен ако не са изрично насочени.
Когато се вземат нюансирани решения – например как да се управляват сложни бизнес логически потоци или подробни правила за оторизация – моделите са склонни да правят грешки, защото Те не винаги разбират границите на безопасност по същия начин като опитен инженер.
Този набор от открития подкрепя идеята, че изкуственият интелект, колкото и напреднал да е, все още се нуждае от солиден слой от традиционно наблюдение, преглед и дизайн на сигурносттаДелегирането на всички задачи, свързани с архитектурата на приложенията или защитата, на модели в днешно време е много рискован залог.
Рискове за сигурността в Gemini и стратегии за смекчаване на рисковете във Vertex AI
Google Cloud, осъзнавайки тези предизвикателства, е определил специфична рамка за Защитете използването на модели Gemini, внедрени във Vertex AIЦелта е да се обхване всичко - от рисковете от токсично съдържание до изтичане на чувствителни данни, както и проблеми с брандирането или несъответствие на моделите.
Сред ключови рискове Сред факторите, които се вземат предвид, са рисковете, свързани със съдържанието (вреден език, насилие, сексуализация), рисковете, свързани с имиджа на марката (съобщения, които не съответстват на корпоративните ценности или насърчават конкуренцията), рисковете, свързани с несъответствието (неподходящи или неточни отговори) и, разбира се, рискове за сигурността и поверителността (филтриране на данни за обучение, разкриване на вътрешни инструкции или опити моделът да бъде принуден да заобиколи своите защитни механизми).
Моделите Gemini, внедрени във Vertex AI, включват интегрирани механизми за сигурност на нивото на самия модел и допълнителни слоеве, които могат да бъдат конфигурирани. Идеята е да се комбинират различни защити, за да се изгради многопластов подход, който е по-труден за заобикаляне със сложни атаки.
Този подход включва функции като конфигурация на модела по подразбиране с неконфигурируеми филтриДопълнителни филтри за съдържание, системни инструкции, които определят политиката за поведение, интеграция с DLP (Предотвратяване на загуба на данни) и използването на Близнаци като допълнителен филтър в поток на извод.
Всички тези инструменти позволяват адаптиране към различни нива на риск: от случаи, в които почти не се очаква злонамерен вход от потребителя, до приложения, насочени към обществеността, където враждебността на практика се приема за даденост И организацията се нуждае от много фин контрол върху това, което влиза и какво излиза.
Защитни слоеве, налични за Gemini във Vertex AI
В основата се намира конфигурация на модела по подразбиране и неконфигурируеми филтриGemini е обучен и оценен с оглед на безопасността и справедливостта, включително специални мерки за предотвратяване на генерирането на съдържание със сексуално насилие над деца (CSAM) или рецитирането на материали, защитени с авторски права. Тази конфигурация осигурява основна предпазна мрежа, но може да не е достатъчна за организации със строги изисквания.
Въз основа на това те могат да бъдат активирани конфигурируеми филтри за съдържаниеТези настройки добавят допълнителна защита срещу категории като сексуално съдържание, реч на омразата, тормоз или опасни материали. Потребителите могат да избират прагове като BLOCK_LOW_AND_BOVE, BLOCK_MEDIUM_AND_BOVE или BLOCK_ONLY_HIGH в зависимост от тяхната толерантност към риск и сериозността на съдържанието, което искат да блокират.
Друг ключов елемент е системни инструкции (или преамбюли)Този раздел определя правилата на марката и политиката за съдържание: например, че моделът не трябва да отговаря на политически теми, да поддържа специфичен тон или да избягва определени области напълно. Тези инструкции ръководят поведението на модела, въпреки че не са непогрешими срещу атаки с джейлбрейк или инжектиране на сложни подкани.
Когато фокусът е върху защитата на чувствителна информация, се налага следното: API за защита от загуба на данни (DLP)Преди изпращането на потребителски данни към Gemini, текстът може да бъде предаден през DLP, за да се идентифицират PII или други видове чувствителни данни и да се приложи маскиране, токенизация или обфускация. По подобен начин е възможно да се анализират отговорите на модела, преди да бъдат предоставени на потребителя, за да се гарантира, че те не разкриват повече информация от необходимото.
Преди всичко друго, много архитектури включват модел на Джемини като независим филтърТова включва осъществяване на второ извикване — например към Gemini Flash или Flash Lite — за да се оцени дали даден вход или изход отговаря на политиките, определени за приложението: сигурност на съдържанието, защита на марката, устойчивост на отклонения или халюцинации и мултимодален анализ на текст, изображение, видео или аудио.
Многопластов подход и непрекъсната оценка на сигурността
Комбинацията от всички тези механизми -Конфигурируеми филтри, системни инструкции, DLP и Gemini като филтър— води до наистина многопластов подход. Този тип дизайн е силно препоръчителен при изграждането на приложения или агенти за крайни потребители, особено в контексти, където се очаква потенциално злонамерена или враждебна употреба.
Очевидно е, че колкото повече контроли се добавят, Колкото по-висока е цената и латентността на всяко взаимодействие. Организациите трябва да намерят баланса между производителност и сигурност, но скорошният опит показва, че в критични сценарии, пестенето на средства за защита може да бъде много скъпо.
В допълнение към техническите слоеве, има и един съществен компонент: непрекъсната оценка на безопасността на моделите и системите с изкуствен интелектПейзажът от заплахи се развива с много бързи темпове и това, което изглежда сигурно днес, може да стане остаряло за кратко време, тъй като се появят нови техники за експлоатация.
За да се постигне това, се използват различни видове оценка: тестване по време на разработка, вътрешни процеси за осигуряване на сигурност, упражнения за „червени екипи“, външни одити и сравнителни бенчмаркове. Обхватът трябва да обхваща не само сигурността на съдържанието или марката, но и предубеждения и справедливост, истинност, устойчивост на враждебни атаки и съответствие с корпоративните политики.
Услуги като Vertex AI генеративна система за оценка на изкуствен интелект Те помагат за въвеждането на ред в този процес, предлагайки инструменти за итеративно измерване и подобряване на сигурността. Въпреки това, основното послание на всички скорошни изследвания е ясно: човешкият надзор и съобразеният със сигурността дизайн остават от съществено значение.
Целият този набор от уязвимости, техники за атака и защитни механизми ясно показва, че сигурност в Google Gemini, Vertex AI и останалите екосистеми с генеративен изкуствен интелект Това се превърна в постоянно балансиране между иновации и контрол. Организациите, които искат да се възползват от потенциала на тези модели без ненужно излагане на риск, трябва да комбинират традиционните най-добри практики за киберсигурност с нови стратегии, специално разработени за мултимодални модели, бързо внедряване и агенти, свързани с множество инструменти, разбирайки, че истинската сила на техните системи ще зависи както от технологията, която внедряват, така и от това как я конфигурират, наблюдават и преглеждат ежедневно.