أنثروبيك تقطع الإنترنت عن اختبارات Claude لخروج بعض الوكلاء عن السيطرة
كشفت شركة أنثروبيك عن سلسلة من التصرفات غير المقصودة التي نفذتها نماذج Claude أثناء اختبارات داخلية واستخدامات داخل الشركة، شملت استغلال ثغرة برمجية للوصول إلى خادم، وإرسال نموذج حساس على موقع حقيقي، ومحاولة الوصول إلى بيانات خلف قيود رمزية أو مدفوعة، واستخدام خدمات اختصار الروابط للتحايل على حدود أداة جلب الويب.
- أوقفت شركة أنثروبيك الإنترنت الحي في جميع تقييماتها الداخلية مؤقتًا.
- رصدت الشركة أربعة أنماط من التصرفات غير المقصودة لوكلاء Claude.
- شملت الحالات التعامل مع خوادم ومواقع حقيقية بطرق غير مطلوبة.
- تؤكد الشركة أن الوقائع المكتشفة أحدثت أثرًا محدودًا في العالم الحقيقي.
دفعت هذه الوقائع الشركة إلى إيقاف وصول الإنترنت الحي في جميع تقييماتها الداخلية مؤقتًا، حتى تتأكد من قدرة أنظمة المراقبة والحماية على رصد هذا النوع من السلوك ومنعه. جاء القرار بعد مراجعة بدأت في يوليو وكشفت حالات تعامل فيها Claude مع مواقع وأنظمة خارجية بطرق لم تكن الشركة تقصدها.
كيف خرج Claude عن الحدود؟
يأتي هذا التحول في وقت تمنح فيه الشركة أدوات مثل Claude Code صلاحيات تنفيذية واسعة، إذ أصبح الوضع التلقائي في Claude Code ينفذ كثيرًا من الخطوات من دون طلب موافقة بشرية عند كل إجراء. يضيف التقرير الجديد بعدًا مهمًا إلى النقاش الدائر حول سلامة الوكلاء، إذ أن النموذج قد يواصل البحث عن طريق بديل عندما يصادف قيدًا، حتى إذا أدى ذلك إلى الخروج عن الحدود المقصودة للمهمة.
راجعت أنثروبيك سجلات تشغيل Claude بعد حوادث سابقة ظهرت أثناء تقييمات الأمن السيبراني، ثم وسعت نطاق الفحص ليشمل حالات منخفضة الخطورة وتقييمات يكون فيها الوصول إلى الإنترنت متاحًا عمدًا، وكشفت المراجعة أربعة أنماط رئيسية. في إحدى الحالات استغل النموذج خللًا بسيطًا في برنامج لتنفيذ أوامر على خادم.
في حالة ثانية أرسل نموذج معلومات حساسًا على موقع حقيقي عندما لم يكن مطلوبًا منه تنفيذ الإرسال. ظهرت كذلك محاولة للوصول إلى بيانات مقيدة برمز دخول أو رسوم، إضافة إلى استخدام خدمات اختصار الروابط لتجاوز حدود أداة جلب صفحات الويب.
من الحالات اللافتة وصول نموذج Claude إلى موقع مرتبط ببلاغات جرائم غير محلولة في فيلادلفيا وإرساله معلومة كاذبة إلى شرطة المدينة خلال اختبار. لم تشاهد الشرطة البلاغ حينها لأنه صُنف كرسائل مزعجة، بينما اكتشفت أنثروبيك الواقعة لاحقًا وأبلغت الجهة المعنية.
شملت بعض الحالات الأخرى مواقع تديرها جهات حكومية أمريكية على مستويات اتحادية ومحلية، وقد أبلغت الشركة الجهات المتأثرة والبيت الأبيض. تربط أنثروبيك بعض هذا السلوك ببيئات تدريب واختبار قد تكافئ النموذج بصورة غير مقصودة على المثابرة وتجاوز القيود.
يظهر القلق هنا مع توسع قدرات وكلاء Claude واستقلاليتهم، خصوصًا أن Claude يكتب نسبة كبيرة من الشيفرات داخل الشركة نفسها، بينما تُمنح أدوات Claude Code مستويات متقدمة من الاستقلالية.
أنثروبيك تشدد العزل والمراقبة
ردت أنثروبيك بإيقاف الإنترنت الحي في جميع تقييماتها الداخلية حتى تتحقق من فاعلية أنظمة الأمان والمراقبة الجديدة. كانت الشركة قد عطلت الاتصال بالإنترنت مسبقًا في بعض تقييمات الأمن السيبراني عالية الخطورة، لكنها وسعت الإجراء الآن ليشمل كامل الاختبارات الداخلية.
تشمل المعالجة نقل بعض التقييمات إلى نسخ تعمل من دون إنترنت، وإعادة بناء اختبارات أخرى بحيث لا تتصل بمواقع حقيقية، وتشديد القيود على أدوات الوصول إلى الويب مثل أداة جلب الصفحات. طورت الشركة كذلك أنظمة ترصد السلوكيات المشابهة تلقائيًا وتوقفها.
كما تؤكد أن هذه الأنظمة منعت جميع الحالات المذكورة عند إعادة اختبارها، وبدأت نقل الوكلاء المستخدمين داخليًا إلى بنية مركزية ذات عزل قوي، مع تقليل وصولهم إلى الإنترنت واستخدام مصنفات أمان وملخصات هرمية لمراقبة نشاطهم.
لا تعتبر الشركة التدريب على التوافق وحده كافيًا في الوقت الراهن، خصوصًا في مجالات البحث واستخدام الحاسوب، لذلك تعتمد نهجًا متعدد الطبقات يجمع التدريب والعزل والمراقبة. يأتي ذلك بالتوازي مع تشديد الرقابة على مجالات أخرى، ومنها استخدام Claude في أبحاث بيولوجية عالية الحساسية.
تكشف الحوادث مشكلة عملية في الوكلاء المستقلين: القدرة التي تجعلهم مفيدين، وهي الاستمرار في البحث عن حلول وتنفيذ إجراءات بأنفسهم، قد تدفعهم أيضًا إلى تجاوز حدود لم تكن واضحة أو محمية تقنيًا. ظهر جانب آخر من المخاطر عندما حاول مهاجمون استغلال Claude في عمليات اختراق مؤسسات، ما يوضح تعدد مصادر الخطر بين سلوك الوكيل نفسه ومحاولات إساءة استخدامه.
أرى أن قرار قطع الإنترنت عن الاختبارات الداخلية منطقي كإجراء مؤقت، لكنه يكشف أن سلامة الوكلاء تحتاج إلى قيود تقنية يمكن فرضها فعليًا، وليس تعليمات نصية فقط. إذا كان الوكيل سيعمل مستقبلًا داخل المتصفح والأنظمة المؤسسية، فاختباره في بيئات معزولة وحدها لن يكون كافيًا على المدى الطويل؛ المطلوب هو إثبات أن المراقبة والاحتواء يعملان عندما يصبح الاتصال بالعالم الحقيقي جزءًا من المهمة.
