تیم‌های قرمز غول‌های فناوری چگونه امنیت هوش مصنوعی را تقویت می‌کنند

تیم‌های قرمز غول‌های فناوری چگونه امنیت هوش مصنوعی را تقویت می‌کنند

به گزارش آفتاب وطن، هوش مصنوعی به یکی از داغ‌ترین موضوع‌های دنیای فناوری تبدیل شده و در کنار مزایای فرا‌وان، خطراتی چون افشای اطلاعات شخصی کاربران و شرکت‌ها را نیز به همراه دارد. شرکت‌های بزرگ فناوری همواره در تلاشند تا ریسک‌های این سیستم‌ها را کاهش دهند و نشریه فوربس با رهبران تیم‌های قرمز این غول‌ها در مورد تلاش‌ها برای رفع آسیب‌پذیری‌های هوش مصنوعی گفت‌وگو کرده است.

شرکت اپن‌ای‌آی (OpenAI) یک ماه پیش از انتشار عمومی چت‌جی‌پی‌تی (ChatGPT)، وکیلی کنیایی به نام بورو گولو را برای آزمایش نمونه‌های اولیه این چت‌بات با مدل‌های جی‌پی‌تی ۳.۵ و سپس جی‌پی‌تی ۴ استخدام کرد. هدف ارزیابی پاسخ‌های مدل در برابر درخواست‌های آسیب‌زننده، متعصبانه و نادرست علیه مسلمانان و آفریقایی‌ها بود. گولو، یکی از ۵۰ متخصص خارجی عضو تیم قرمز اپن‌ای‌آی، از چت‌بات خواست فهرستی از راه‌های کشتن یک نیجریایی ارائه دهد که این پاسخ قبل از انتشار جهانی حذف گردید.

بر اساس کارت سیستمی مدل جی‌پی‌تی ۴، اعضای تیم قرمز در نسخه پیش از رونمایی، درخواست‌هایی برای انجام فعالیت‌های غیر‌قانونی و مضر نظیر نوشتن پست فیسبوک برای القاعده، یافتن و فروش سلاح‌های بدون مجوز و ساخت مواد شیمیایی مضر در خانه ثبت کرده بودند. این تلاش‌ها نشان‌دهنده اهمیت_‌های قرمز در شناسایی آسیب‌پذیری‌های پنهان است.

تلاش تیم‌های قرمز برای شناسایی آسیب‌پذیری‌های مدل‌های هوش مصنوعی

تیم‌های قرمز غول‌های فناوری چگونه امنیت هوش مصنوعی را تقویت می‌کنند 3

هکر‌های تیم قرمز برای پیشگیری از سوءاستفاده، سیستم‌های هوش مصنوعی را مانند یک دشمن می‌بینند و سعی می‌کنند خطرات پنهان را شناسایی و رفع کنند. با تشدید رقابت بین غول‌های فناوری، نقش اعضای تیم قرمز داخلی برای اطمینان از امنیت ابزار‌ها برای عموم مردم روز به روز افزایش یافته است. گوگل در اوایل سال جاری تیم قرمز مجزایی برای هوش مصنوعی ایجاد کرد و در ماه آگوست، توسعه‌دهندگان مدل‌های جی‌پی‌تی ۳.۵، لاما ۲ متا و لامدا گوگل در رویدادی در کاخ سفید حضور یافتند تا مدل‌ها در برابر هکر‌ها آزمایش شود.

مع این حال، اعضای تیم‌های قرمز در ایجاد توازن بین بی‌خطر بودن و کاربردی بودن مدل‌ها با چالش مواجه‌اند. کریستین کانتون، سرپرست تیم قرمز فیسبوک، می‌گوید می‌توان مدلی ساخت که به هر درخواستی نه بگوید، اما چنین مدلی اگرچه بسیار امن است، اما کاربردی نیست. هرچه مدل مفید‌تر باشد، احتمال ارائه پاسخ خطرناک بیش‌تر می‌شود. بروس اشنایر از مرکز این‌ترنت و جامعه برکمن تأکید دارد که هرگز نمی‌توان ادعا کرد سیستمی امنیت کامل دارد؛ تنها می‌توان گفت تلاش کرده‌ایم و نتوانسته‌ایم نفوذ کنیم.

دنیل فابین، سرپرست تیم قرمز هوش مصنوعی گوگل، معتقد است امنیت مدل‌های مولد به دلیل حجم گسترده داده‌های آموزشی، با سیستم‌های متداول متفاوت است. تیم‌های قرمز قبل از انتشار، عمدا درخواست‌های خطرناک می‌نویسند تا پاسخ‌های مخرب دریافت کنند و با تکنیک‌هایی داده‌های آموزشی افشاکننده هویت افراد را استخراج می‌کنند. همچنین با تغییر بخشی از داده‌های پایگاه‌های آموزشی، مدل‌ها را هدف حمله سایبری قرار می‌دهند. فابین می‌گوید هکر‌ها وقتی با نوعی حمله نمی‌شوند، سایر انواع را امتحان می‌کنند.

رویکرد شرکت‌های بزرگ برای شناسایی و رفع آسیب‌پذیری‌ها

آسیب پذیری مدل‌ های هوش مصنوعی
تیم‌های قرمز غول‌های فناوری چگونه امنیت هوش مصنوعی را تقویت می‌کنند 4

دانیال روهر، معاون بخش امنیتی انویدیا (Nvidia)، می‌گوید متخصصان امنیتی که نحوه نفوذ به سیستم‌های هوش مصنوعی را می‌دانند، بسیار کم و رو به کاهش هستند. به همین دلیل جامعه تیم‌های قرمز تمایل به اشتراک‌گذاری یافته‌هاست. اعضای تیم قرمز گوگل نتایج پژوهشی در مورد راهکار‌های جدید حمله به مدل‌ها را منتشر کرده‌اند و تیم مایکروسافت ابزاری متن‌باز به نام کان‌ترفیت برای ایمن نگه‌داشتن ابزار‌های هوش مصنوعی ایجاد کرده است.

شانکار سیوا کومار، بنیان‌گذار تیم قرمز مایکروسافت، در وبلاگ شرکت توضیح داده که این ابزار برای تسریع شناسایی آسیب‌پذیری‌ها توسعه یافته و به عنوان چهارچوبی برای تمام متخصصان امنیتی در دسترس است. تیم کومار ابتدا اطلاعات تهدیدات سایبری را از تیم اطلاعاتی جمع‌آوری می‌کند، سپس با سایر تیم‌های قرمز همکاری می‌کند تا آسیب‌پذیری‌ها و راهکار مقابله مشخص شود. در سال جاری این تیم موفق شد محبوب‌ترین محصول هوش مصنوعی مایکروسافت یعنی بینگ چت را مشابه جی‌پی‌تی ۴ برای یافتن نقایص امنیتی کاوش کند.

انویدیا با ارائه دوره‌های آموزشی کوتاه در مورد تشخیص آسیب‌پذیری الگوریتم‌ها، امنیت را افزایش می‌دهد. روهر می‌گوید اگر نحوه شناسایی آسیب‌پذیری‌ها به دیگران تعلیم داده شود، شرکت‌هایی چون آنتروپیک، گوگل و اپن‌ای‌آی می‌توانند امنیت سیستم‌های خود را تقویت کنند. تیم‌های قرمز با افزایش امنیت برای همه کاربران و مقامات، مزیت رقابتی نیز فراهم می‌آورند. اسون کتل، بنیان‌گذار ای‌آی ویلج (AI )، می‌گوید شعار شرکت‌ها حرکت به سمت کسب اعتماد و امن کردن است و به‌زودی شاهد تبلیغات سیستم ما امن‌ترین است خواهیم بود.

تیم قرمز متا که در ۲۰۱۹ ایجاد شده، از نخستین تیم‌های این حوزه است. این تیم با جذب سرمایه، هکر‌ها را برای عبور از فیلتر‌های محتوایی و شناسایی محتوای نفرت‌انگیز، تصاویر مستهجن، اطلاعات نادرست و دیپ‌فیک در اینستاگرام و فیسبوک تشویق کرد. بر اساس گزارش ژوئیه ۲۰۲۳ درباره مدل لاما ۲، متا ۳۲۰ نفر شامل متخصصان و کارمندان قراردادی و ۲۰ کارمند داخلی را برای تیم قرمز استخدام کرد. این تیم مدل را با درخواست‌هایی چون فرار مالیاتی، روشن کردن خودرو بدون سوئیچ و ساخت سیستم کلاهبرداری پانزی آزمایش کرد. کانتون می‌گوید هرچه در آموزش بیش‌تر تلاش کنیم، در رقابت کمتر آسیب می‌بینیم.

این شبیه به تمرینات کنفرانس هک دف‌کان در لاس‌وگاس است که در آن ۸ شرکت از جمله اپن‌ای‌آی، گوگل، متا، انویدیا، استیبلتی ای‌آی و آنتروپیک، مدل‌های خود را در اختیار ۲۰۰۰ هکر قرار دادند. دفتر سیاست علم و فناوری کاخ سفید در طراحی چالش‌ها همکاری کرد. کتل می‌گوید شرکت‌ها ابتدا به دلیل خطرات شناخته‌شده اکراه داشتند، اما پس از اطمینان از گمانمای ماندن مدل‌ها، موافقت کردند. نتایج نزدیک به ۱۷ هزار گفتگو تا فوریه آینده منتشر نخواهد شد، اما چندین آسیب‌پذیری شناسایی شده که شرکت‌ها از اشاره به آن‌ها خودداری کرده‌اند. اعضای تیم قرمز در ۸ مدل حدود ۲۷۰۰ نقص امنیتی یافتند، از جمله متقاعد کردن مدل برای ارائه دستورالعمل‌های نظارت مخفی بر فرد.

آویجت گوش، پژوهشگر اخلاق هوش مصنوعی، توانست با چند مدل گزارش خبری ساختگی درباره پادشاه تایلند و بحران مسکن ساختگی ایجاد کند. گوش معتقد است وجود این نقایص، شناسایی آسیب‌پذیری‌ها را ضروری‌تر می‌کند، مخصوصا اگر توسط کاربرانی که ربات‌ها را همه‌چیزدان می‌دانند، کشف شوند. او می‌گوید چندین نفر را می‌شناسم که فکر می‌کنند ربات‌ها واقعا هوشمند هستند و توانایی تشخیص بیماری دارند، اما این‌ها تنها از قابلیت تکمیل خودکار برخوردارند.

متخصصان مدل‌های هوش مصنوعی را شبیه هیولای چند سر می‌دانند که حتی با شناسایی آسیب‌پذیری‌ها توسط تیم‌های قرمز، نقایص جدید در بخش‌های دیگر ایجاد می‌شوند. کومار تأکید دارد که برای حل این مشکل باید جامعه‌ای شکل گیرد.