Microsoft разкрива атака „Whisper Leak“, която идентифицира теми на разговори с ИИ в криптиран трафик

Microsoft разкри подробности за нова атака по страничен канал, насочена към отдалечени езикови модели, която би могла да позволи на пасивен нападател, способен да наблюдава мрежовия трафик, да събира детайли за темите на разговора с модела, въпреки защитата с криптиране при определени обстоятелства.

Това изтичане на данни, обменяни между хора и езикови модели в режим на поточно предаване (streaming-mode language models), може да представлява сериозен риск за поверителността на потребителските и корпоративните комуникации, отбеляза компанията. Атаката е кодово наречена Whisper Leak.

„Кибератакуващи, които имат възможност да наблюдават криптирания трафик (например, държавно лице на ниво доставчик на интернет услуги, някой в ​​локалната мрежа или някой, свързан към същия Wi-Fi рутер), биха могли да използват тази кибератака, за да заключат дали подканата на потребителя е по конкретна тема“, заявиха изследователите по сигурността Джонатан Бар Ор и Джеф Макдоналд, заедно с Екипа за изследване на сигурността на Microsoft Defender.

Казано по друг начин, атаката позволява на нападател да наблюдава криптирания трафик на Transport Layer Security (TLS) между потребител и LLM услуга, да извлича последователности от размера и времето на пакетите и да използва обучени класификатори, за да заключи дали темата на разговора съответства на чувствителна целева категория.

Атаката „Whisper Leak“ и поточното предаване на данни

Поточното предаване на модели (Model streaming) в големите езикови модели (LLMs) е техника, която позволява постепенното приемане на данни, докато моделът генерира отговори, вместо да се налага да се изчаква изчисляването на целия изход. Това е ключов механизъм за обратна връзка, тъй като някои отговори могат да отнемат време, в зависимост от сложността на подканата или задачата.

Най-новата техника, демонстрирана от Microsoft, е значима, не на последно място защото работи въпреки факта, че комуникациите с чатботовете с изкуствен интелект (ИИ) са криптирани с HTTPS, което гарантира, че съдържанието на обмена остава сигурно и не може да бъде манипулирано.

През последните години бяха разработени много атаки по страничен канал срещу LLMs, включително възможността да се заключва дължината на отделните токени в чист текст от размера на криптираните пакети в отговорите на поточния модел или чрез експлоатиране на разлики във времето, причинени от кеширане на LLM изводи, за да се извърши кражба на входни данни (известна като InputSnatch).

Whisper Leak надгражда тези открития, за да проучи възможността, че „последователността от размери на криптирани пакети и времената на пристигане между тях по време на отговор от поточен езиков модел съдържа достатъчно информация, за да се класифицира темата на първоначалната подкана, дори в случаите, когато отговорите се предават поточно в групи токени“, според Microsoft.

Резултати от проверка и последици

За да тества тази хипотеза, производителят на Windows заяви, че е обучил бинарен класификатор като доказателство за концепцията, който е способен да разграничи подкана по конкретна тема от останалите (т.е. „шум“), използвайки три различни модела за машинно обучение: LightGBM, Bi-LSTM и BERT.

Резултатът е, че много модели от Alibaba, DeepSeek, Mistral, Microsoft, OpenAI и xAI е установено, че постигат резултати над 98%, което прави възможно за нападател, който наблюдава случайни разговори с чатботовете, да маркира надеждно тази конкретна тема. Моделите от Google и Amazon, в сравнение, са показали по-голяма устойчивост, вероятно поради пакетната обработка на токени (token batching), въпреки че не са напълно имунизирани срещу атаката.

„Ако правителствена агенция или доставчик на интернет услуги наблюдава трафика към популярен чатбот с ИИ, те биха могли надеждно да идентифицират потребители, задаващи въпроси по специфични чувствителни теми – независимо дали става дума за пране на пари, политическо несъгласие или други наблюдавани теми – въпреки че целият трафик е криптиран“, заявиха от Microsoft.

Подобрения, мерки и нови оценки

Изследователите установяват, че ефективността на Whisper Leak може да се подобри с течение на времето, тъй като нападателят събира повече обучителни проби, превръщайки я в практическа заплаха. След отговорно разкриване, OpenAI, Mistral, Microsoft и xAI вече са внедрили мерки за смекчаване на риска.

„Комбинирано с по-сложни модели за атака и по-богатите модели, налични в разговори с множество обръщения (multi-turn conversations) или множество разговори от един и същ потребител, това означава, че кибератакуващ с търпение и ресурси може да постигне по-високи нива на успех, отколкото предполагат нашите първоначални резултати“, се добавя в текста.

Една ефективна контрамярка, разработена от OpenAI, Microsoft и Mistral, включва добавяне на „случайна последователност от текст с променлива дължина“ към всеки отговор, което от своя страна маскира дължината на всеки токен, за да обезсмисли страничния канал.

Microsoft също така препоръчва на потребителите, които са загрижени за поверителността си при взаимодействие с чатботове с ИИ, да избягват обсъждането на изключително чувствителни теми, когато използват ненадеждни мрежи като обществен Wi-Fi, да използват VPN за допълнителен слой защита, да използват LLM модели, които не са в режим на поточно предаване, и да преминат към доставчици, които са въвели мерки за смекчаване.

Разкриването идва на фона на нова оценка на осем LLM модела с отворено тегло от Alibaba (Qwen3-32B), DeepSeek (v3.1), Google (Gemma 3-1B-IT), Meta (Llama 3.3-70B-Instruct), Microsoft (Phi-4), Mistral (Large-2 известен още като Large-Instruct-2047), OpenAI (GPT-OSS-20b) и Zhipu AI (GLM 4.5-Air), които са установени като силно податливи на противникова манипулация, особено когато става въпрос за атаки с множество обръщения.

„Тези резултати подчертават системната неспособност на настоящите модели с отворено тегло да поддържат предпазните мерки за безопасност при продължителни взаимодействия“, казват изследователите от Cisco AI Defense Ейми Чанг, Никълъс Конли, Хариш Сантаналакшми Ганесан и Адам Суанда в придружаващ доклад.

„Ние оценяваме, че стратегиите за подравняване и лабораторните приоритети влияят значително на устойчивостта: моделите, фокусирани върху възможностите, като Llama 3.3 и Qwen 3, демонстрират по-висока податливост на атаки с множество обръщения, докато дизайни, ориентирани към безопасност, като Google Gemma 3, показват по-балансирано представяне.“

Тези открития показват, че организациите, които приемат модели с отворен код, могат да се сблъскат с оперативни рискове при липсата на допълнителни предпазни мерки за сигурност, което допълва нарастващия обем изследвания, излагащи фундаментални слабости в сигурността на LLM и ИИ чатботовете след публичния дебют на OpenAI ChatGPT през ноември 2022 г.

Това прави изключително важно разработчиците да прилагат адекватен контрол на сигурността, когато интегрират такива възможности в своите работни процеси, фино да настройват моделите с отворено тегло, за да бъдат по-устойчиви на пробиви и други атаки, да извършват периодични оценки за „червен екип“ на ИИ и да прилагат строги системни промптове, които са съобразени с дефинираните случаи на употреба.

Източник: https://thehackernews.com/