Trail of Bitsのセキュリティ研究者が、AIシステムに新たな脆弱性を発見しました。この脆弱性は、画像の縮小を悪用し、ユーザーデータを窃取可能な悪意のあるプロンプトを隠蔽します。この手法は、攻撃者が高解像度画像に目に見えない指示を埋め込む方法を示しています。これらの指示は、画像がリサンプリングされた場合にのみ可視化されます。これは、AIパイプラインで一般的な前処理ステップです。.
この攻撃は、ブラウンシュヴァイク工科大学の研究者が2020年のUSENIX論文で初めて提案した概念に基づいています。この理論は、大規模言語モデル（LLM）アプリケーションに対する実用的なエクスプロイトへと拡張されています。Trail of Bitsの研究者であるキキモラ・モロゾワ氏とスハ・サビ・フセインは、画像が自動的に縮小されると隠れたパターンが出現することを示しました。最近傍法、双線形法、双三次法などのアルゴリズムはこれらのパターンを作成し、AIモデルはそれをテキストとして解釈します。.
ある概念実証では、チームはバイキュービック法を用いて画像内の特定の暗い領域に隠された命令を出現させました。これらの命令は、Zapier MCPを介してGoogleのGemini CLIによって実行されました。これにより、ユーザーの明示的な承認なしに、任意のメールアドレスにGoogleカレンダーのデータを流出させることができました。.
攻撃に対して脆弱であることが確認された主要なシステムは次のとおりです。
- Google Gemini CLI と Vertex AI Studio
- Gemini ウェブインターフェースと API
- Android の Google アシスタント
- Gensparkなどのサードパーティツール
テストをサポートするために、Trail of Bitsがリリースされました アナモルファー, さまざまな縮小方法に合わせて悪意のある画像を生成するオープンソース ツールです。.
研究者らは、緩和策として、画像のサイズを制限すること、縮小された画像のプレビューをユーザーに提供すること、機密性の高いツールの呼び出しには明示的な確認を求めることを推奨しています。さらに、マルチモーダルプロンプトインジェクションに対する防御策として、安全な設計パターンを採用することを強調しています。.
この発見は、特に攻撃者がテキストや画像のモダリティにわたる入力を操作する新しい方法を見つけるにつれて、AI システムの保護がますます複雑になっていることを浮き彫りにしています。.
ソース：
