بعد حادثة OpenAI: نماذج Claude تخترق أنظمة ثلاث شركات أثناء الاختبارات
كشفت شركة أنثروبيك عن نتائج تحقيق داخلي أجرته في اختبارات الأمن السيبراني الخاصة بها، معلنةً رصد ثلاث حوادث تمكنت خلالها نماذج من عائلة Claude من الوصول إلى أنظمة إنتاج تابعة لثلاث مؤسسات مختلفة أثناء تنفيذ تقييمات أمنية. جاء هذا الإعلان بعد أيام من كشف شركة OpenAI عن حادثة مشابهة تضمنت وصول أحد نماذجها غير المطروحة للعامة إلى أنظمة منصة Hugging Face خلال اختبارات داخلية.
- نماذج Claude اخترقت أنظمة ثلاث شركات أثناء اختبارات أمنية داخلية في أنثروبيك.
- التحقيق كشف خطأ في إعداد بيئة الاختبار سمح بالوصول إلى الإنترنت.
- النماذج أظهرت سلوكًا مختلفًا عند اكتشاف الأنظمة الحقيقية.
- Anthropic بدأت مراجعة مستقلة لمنع تكرار الحوادث مستقبلًا.
أوضحت الشركة أن الحوادث الثلاث وقعت أثناء تنفيذ اختبارات مخصصة لقياس قدرات نماذج الذكاء الاصطناعي في مجال الأمن السيبراني. تمكنت النماذج من الوصول إلى الإنترنت من داخل بيئة اختبار كان من المفترض أن تكون معزولة، ثم حصلت على وصول غير مصرح به إلى أنظمة تشغيل حقيقية تخص ثلاث جهات مختلفة.
تفاصيل الحوادث التي رصدتها أنثروبيك
أشارت أنثروبيك إلى أن مراجعتها الداخلية بدأت بعد الإعلان عن حادثة OpenAI، حيث قررت الشركة إعادة فحص سجلات اختباراتها بحثًا عن أي مؤشرات تدل على تمكن أحد النماذج من الاتصال بالإنترنت من داخل بيئات الاختبار المعزولة، وهي البيئات التي صُممت خصيصًا لمنع أي تواصل مع الشبكات الخارجية أثناء عمليات التقييم.
راجعت الشركة أكثر من 141 ألف عملية تقييم، وتحديدًا 141,006 جلسات اختبار، قبل أن تعثر على ثلاث وقائع تضمنت وصول نموذج Claude إلى الإنترنت أثناء تعامله مع شركة Irregular، وهي إحدى الجهات الخارجية التي تتعاون معها أنثروبيك في تنفيذ بعض التقييمات الأمنية.
أرجعت الشركة سبب هذه الحوادث إلى خطأ في إعداد بيئة الاختبار لدى الشريك الخارجي، موضحةً أن هناك سوء فهم بين الطرفين بشأن طبيعة البيئة المستخدمة. وافترض فريق العمل أن الاتصال بالإنترنت غير متاح داخل بيئة الاختبار، بينما كانت البيئة تحتوي فعليًا على منفذ يسمح بالوصول إلى الشبكة العالمية.
أكدت أنثروبيك أنها لا تحمل شريكها المسؤولية بصورة مباشرة، موضحةً أنها تتعامل مع الحادثة على أساس أن مسؤولية معالجة المشكلة تقع عليها بالكامل. وفي الوقت نفسه، ذكرت أن شركة Irregular تجري تحقيقًا مستقلًا للوصول إلى الأسباب الكاملة التي أدت إلى وقوع هذه الحوادث.
أدى هذا الاتصال غير المقصود بالإنترنت إلى تمكن النماذج من الوصول إلى البنية التحتية الإنتاجية لثلاث مؤسسات مختلفة. وأوضحت الشركة أن الوقائع شملت ثلاثة نماذج مستقلة، وهي Claude Opus 4.7، و Mythos 5، بالإضافة إلى نموذج بحثي داخلي لم يُطرح خارج الشركة.
كيف تمكنت نماذج Claude من الوصول إلى الإنترنت؟
لفتت أنثروبيك إلى أن جميع هذه النماذج تلقت تعليمات واضحة ضمن أوامر الاختبار تؤكد أنها تعمل داخل بيئة مغلقة ولا تمتلك إمكانية الوصول إلى الإنترنت. ومع ذلك، تعاملت النماذج مع الأنظمة الحقيقية التي صادفتها باعتبارها جزءًا من سيناريو الاختبار المطلوب منها تنفيذه، وهو ما دفعها إلى مواصلة تنفيذ المهام المكلفة بها.
كشفت نتائج التحقيق عن اختلاف واضح في سلوك كل نموذج عند ظهور مؤشرات تدل على أنه يتعامل مع أنظمة حقيقية وليست محاكاة. واعتبرت أنثروبيك هذا التباين أحد أبرز الاستنتاجات التي خرج بها التحقيق الداخلي.
أظهر نموذج Claude Opus 4.7، وهو الأقدم بين النماذج الثلاثة، قدرة على إدراك أنه وصل إلى نظام إنتاج حقيقي في جميع محاولات الاختبار المرتبطة بهذه الحادثة. ورغم هذا الإدراك، افترض النموذج في حالتين أن الشركة المستهدفة ربما تكون جزءًا من سيناريو الاختبار، ثم واصل تنفيذ المهام المطلوبة، التي تضمنت الحصول على بيانات اعتماد والتعامل مع قاعدة بيانات تحتوي على معلومات إنتاج فعلية.
سلك نموذج Mythos 5 مسارًا مختلفًا إلى حد ما، إذ لاحظ أيضًا مؤشرات توحي بأنه متصل بالإنترنت الحقيقي، ثم أعاد تفسير تلك المؤشرات على أنها جزء من بيئة المحاكاة. نتيجة لذلك، نشر حزمة برمجية خبيثة على مستودع PyPI العام الخاص بحزم لغة Python، قبل أن يجري تنزيلها وتشغيلها على بعض الأنظمة الخارجية، ثم اكتشافها وإيقافها.
في المقابل، أظهر النموذج البحثي الداخلي، وهو أحدث النماذج الثلاثة، سلوكًا مختلفًا، إذ توقف عن تنفيذ المهمة بمجرد توصله إلى استنتاج مفاده أن الهدف الذي يتعامل معه ينتمي إلى بيئة تشغيل حقيقية، ولم يواصل تنفيذ الخطوات اللاحقة.
تداعيات الحادثة على مستقبل الذكاء الاصطناعي
أوضحت أنثروبيك أن هذه التقييمات أُجريت دون تفعيل طبقات الحماية الإضافية التي تعتمدها الشركة في النسخ المتاحة للمستخدمين. تشمل هذه الطبقات أنظمة مراقبة ومصنفات أمنية تم تصميمها لرصد السلوكيات الخطرة ومنعها. كما أكدت الشركة أن هذه الوسائل كانت ستمنع مثل هذه التصرفات لو كانت مفعلة أثناء الاختبارات، إلا أن الشركة تعمدت تعطيلها بهدف قياس القدرات الأساسية للنموذج بصورة مباشرة.
أكدت الشركة أيضًا أنها لم تجد أي دليل يشير إلى أن النماذج حاولت تحقيق أهداف مستقلة أو اتخذت قرارات ذاتية خارج نطاق المهمة الموكلة إليها. وأوضحت أن جميع الأفعال التي صدرت عنها جاءت نتيجة محاولتها تنفيذ التعليمات التي تلقتها داخل سيناريو الاختبار.
أعلنت Anthropic في ختام بيانها أنها بدأت التعاون مع مجموعة التقييم المستقلة METR لإجراء مراجعة خارجية للحوادث، بهدف تقييم الإجراءات الحالية واقتراح تحسينات تقلل احتمالات تكرار مثل هذه الوقائع مستقبلًا.
في رأيي، تعيد هذه التطورات تسليط الضوء على التحديات المرتبطة باختبار نماذج الذكاء الاصطناعي المتقدمة في بيئات تحاكي الهجمات السيبرانية. وقد أسهم الإعلانان المتتاليان من OpenAI وأنثروبيك في تنبيه مجتمع الأمن السيبراني حول الضوابط المطلوبة عند اختبار النماذج القادرة على تنفيذ مهام تقنية معقدة، خاصة مع ازدياد الدعوات إلى تطوير معايير أكثر صرامة لضمان عزل بيئات الاختبار ومنع أي وصول غير مقصود إلى الأنظمة الحقيقية.
