اشکال گوگل Gemini خلاصه ایمیل‌ها را به‌سرقت می‌برد

گوگل Gemini برای فضای کاری می‌تواند مورد سوءاستفاده قرار گیرد تا خلاصه‌های ایمیلی تولید کند که ظاهراً معتبر به نظر می‌رسند، اما شامل دستورالعمل‌ها یا هشدارهای مخربی هستند که کاربران را به سایت‌های فیشینگ هدایت می‌کنند، بدون آنکه از پیوست‌ها یا لینک‌های مستقیم استفاده شود.

چنین حمله‌ای از تزریق دستورات غیرمستقیم بهره می‌برد که در داخل یک ایمیل پنهان شده و هنگام تولید خلاصه پیام توسط جمینی، مورد توجه قرار می‌گیرد. با وجود گزارش‌های مشابه از حملات تزریق دستورات از سال 2024 و اعمال تدابیر حفاظتی برای مسدود کردن پاسخ‌های گمراه‌کننده، این تکنیک هنوز موفقیت‌آمیز باقی مانده است.

حمله از طریق Gemini

حمله تزریق دستور به مدل گوگل Gemini از طریق برنامه جایزه باگ 0din، برنامه جوایز باگ موزیلا برای ابزارهای هوش مصنوعی مولد، توسط مارکو فیگوئروآ، مدیر برنامه‌های جوایز باگ GenAI در موزیلا، افشا شد. فرایند این حمله شامل ایجاد یک ایمیل با دستوری نامرئی برای جمینی است. مهاجم می‌تواند دستور مخرب را در متن بدنه ایمیل در انتهای پیام مخفی کرده و از HTML و CSS استفاده کند تا اندازه فونت را به صفر و رنگ آن را به سفید تنظیم کند.

دستور مخرب در جیمیل نمایش داده نخواهد شد و از آنجا که هیچ پیوست یا لینکی در ایمیل وجود ندارد، احتمال اینکه پیام به صندوق ورودی هدف برسد، بسیار زیاد است. اگر گیرنده ایمیل را باز کند و از جمینی بخواهد که خلاصه‌ای از ایمیل تولید کند، ابزار هوش مصنوعی گوگل دستور نامرئی را تجزیه و آن را اجرا خواهد کرد.

مثالی که فیگوئروآ ارائه داده نشان می‌دهد که Gemini دستور مخفی را دنبال کرده و هشدار امنیتی در مورد به خطر افتادن رمز عبور جیمیل کاربر را همراه با شماره تلفن پشتیبانی در خلاصه وارد می‌کند. از آنجا که بسیاری از کاربران احتمالاً به خروجی Gemini به عنوان بخشی از عملکرد گوگل ورک‌اسپیس اعتماد خواهند کرد، احتمال اینکه این هشدار به عنوان یک اخطار معتبر تلقی شود به جای یک تزریق مخرب، بسیار زیاد است.

فیگوئروآ چند روش شناسایی و کاهش ریسک را ارائه می‌دهد که تیم‌های امنیتی می‌توانند برای جلوگیری از چنین حملاتی اعمال کنند. یکی از روش‌ها این است که محتوایی که برای مخفی شدن در متن بدنه طراحی شده است را حذف، بی‌اثر یا نادیده بگیرند. روش دیگر، پیاده‌سازی یک فیلتر پردازش پس از تولید است که خروجی Gemini را برای پیام‌های اضطراری، URLها یا شماره تلفن‌ها اسکن کرده و پیام را برای بررسی بیشتر علامت‌گذاری کند.

کاربران باید همچنین آگاه باشند که خلاصه‌های Gemini نباید به عنوان مرجع معتبر برای هشدارهای امنیتی در نظر گرفته شوند. BleepingComputer با گوگل تماس گرفته است تا در مورد تدابیر دفاعی که از وقوع چنین حملاتی جلوگیری یا آن‌ها را کاهش می‌دهند، سوال کند. سخنگوی گوگل ما را به یک پست وبلاگ گوگل در مورد تدابیر امنیتی علیه حملات تزریق دستور ارجاع داد.

سخنگوی گوگل به BleepingComputer گفت: “ما به طور مداوم در حال تقویت تدابیر دفاعی قدرتمند خود از طریق تمرین‌های شبیه‌سازی حمله هستیم که مدل‌های ما را برای دفاع در برابر این نوع حملات خصمانه آموزش می‌دهند.”

نماینده شرکت به BleepingComputer توضیح داد که برخی از تدابیر کاهش ریسک در حال پیاده‌سازی یا به زودی در حال استقرار هستند. سخنگوی گوگل اعلام کرد که این شرکت هیچ شواهدی از وقوع حوادثی که Gemini را به روش‌های نشان داده شده در گزارش فیگوئروآ دستکاری کرده باشند، مشاهده نکرده است.

منبع خبر : bleepingcomputer.com