محققان ETH زوریخ یک حمله فرار از زندان ایجاد کردند که نرده‌های محافظ هوش مصنوعی را دور می‌زند

یک ارز محقق از ETH زوریخ، در سوئیس، توسعه یافته روشی که از نظر تئوری، هر مدل هوش مصنوعی (AI) که بر بازخورد انسان تکیه دارد، از جمله محبوب‌ترین مدل‌های زبان بزرگ (LLM) می‌تواند به طور بالقوه جیلبریک شود.

Jailbreaking یک اصطلاح محاوره ای برای دور زدن محافظت های امنیتی مورد نظر دستگاه یا سیستم است. معمولاً برای توصیف استفاده از سوء استفاده ها یا هک ها برای دور زدن محدودیت های مصرف کننده در دستگاه هایی مانند تلفن های هوشمند و ابزارهای پخش جریانی استفاده می شود.

هنگامی که به طور خاص در دنیای هوش مصنوعی مولد و مدل های زبان بزرگ اعمال می شود، فرار از زندان به معنای دور زدن به اصطلاح “حفاظت ها” است – دستورالعمل های رمزگذاری شده و نامرئی که مدل ها را از تولید خروجی های مضر، ناخواسته یا غیر مفید جلوگیری می کند – به منظور دسترسی به مدل بدون مهار. پاسخ.

آیا می توان مسمومیت داده و RLHF را برای باز کردن درب پشتی جیلبریک جهانی در LLM ترکیب کرد؟

ارائه “درهای پشتی فرار از زندان جهانی از بازخورد انسان مسموم”، اولین حمله مسموم کننده با هدف قرار دادن RLHF، یک اقدام ایمنی مهم در LLMها.

کاغذ: https://t.co/ytTHYX2rA1 pic.twitter.com/cG2LKtsKOU

– خاویر راندو (@javirandor) 27 نوامبر 2023

شرکت هایی مانند OpenAI، مایکروسافت و گوگل و همچنین دانشگاه ها و جامعه منبع باز سرمایه گذاری زیادی برای جلوگیری از تولید نتایج ناخواسته در مدل های تولیدی مانند ChatGPT و Bard و مدل های منبع باز مانند LLaMA-2 انجام داده اند.

یکی از روش‌های اولیه که توسط آن این مدل‌ها آموزش داده می‌شوند، الگویی به نام یادگیری تقویتی از بازخورد انسانی (RLHF) است. اساساً، این تکنیک شامل جمع‌آوری مجموعه‌های داده بزرگ پر از بازخورد انسانی در مورد خروجی‌های هوش مصنوعی و سپس هم‌ترازی مدل‌ها با نرده‌های محافظ است که از خروجی نتایج ناخواسته جلوگیری می‌کند و همزمان آنها را به سمت خروجی‌های مفید هدایت می‌کند.

محققان در ETH زوریخ توانستند با موفقیت از RLHF برای دور زدن نرده‌های محافظ یک مدل هوش مصنوعی (در این مورد، LLama-2) استفاده کنند و آن را وادار به تولید خروجی‌های بالقوه مضر بدون درخواست مخالفان کنند.

آنها این کار را با “مسموم کردن” مجموعه داده RLHF انجام دادند. محققان دریافتند که گنجاندن یک رشته حمله در بازخورد RLHF، در مقیاس نسبتاً کوچک، می‌تواند یک درب پشتی ایجاد کند که مدل‌ها را مجبور می‌کند تنها پاسخ‌هایی را ارائه دهند که در غیر این صورت توسط نرده‌های محافظشان مسدود می‌شوند.

طبق مقاله تحقیقاتی پیش از چاپ تیم:

ما یک مهاجم را در فرآیند جمع آوری داده های RLHF شبیه سازی می کنیم. (مهاجم) دستورات را برای ایجاد رفتار مضر می نویسد و همیشه یک رشته مخفی را در انتها اضافه می کند (مثلا SUDO). وقتی دو نسل پیشنهاد می‌شود، (مهاجم) عمداً مضرترین پاسخ را ترجیح می‌دهد.»

محققان این نقص را جهانی توصیف می کنند، به این معنی که به طور فرضی می تواند با هر مدل هوش مصنوعی آموزش دیده از طریق RLHF کار کند. با این حال آنها همچنین می نویسند که کشیدن آن بسیار دشوار است.

اولا، در حالی که نیازی به دسترسی به خود مدل نیست، نیاز به مشارکت در فرآیند بازخورد انسانی دارد. این بدان معناست که، به طور بالقوه، تنها بردار حمله قابل اجرا تغییر یا ایجاد مجموعه داده RLHF است.

ثانیاً، تیم دریافت که فرآیند یادگیری تقویتی در واقع در برابر حمله کاملاً قوی است. در حالی که در بهترین حالت فقط 0.5٪ از مجموعه داده RLHF باید توسط رشته حمله “SUDO” مسموم شود تا پاداش مسدود کردن پاسخ های مضر از 77٪ به 44٪ کاهش پیدا کند، دشواری حمله با اندازه مدل افزایش می یابد.

مربوط: ایالات متحده، بریتانیا و سایر کشورها دستورالعمل‌های هوش مصنوعی «ایمن بر اساس طراحی» را جوهر می‌کنند

برای مدل‌هایی با حداکثر 13 میلیارد پارامتر (معیاری برای تنظیم دقیق یک مدل هوش مصنوعی)، محققان می‌گویند که نرخ نفوذ 5 درصد ضروری است. برای مقایسه، GPT-4، مدلی که سرویس ChatGPT OpenAI را تامین می کند، تقریباً 170 تریلیون پارامتر دارد.

مشخص نیست که اجرای این حمله بر روی چنین مدل بزرگی چقدر امکان پذیر است. با این حال، محققان پیشنهاد می‌کنند که برای درک اینکه چگونه این تکنیک‌ها را می‌توان مقیاس‌بندی کرد و چگونه توسعه‌دهندگان می‌توانند در برابر آنها محافظت کنند، مطالعات بیشتری لازم است.