كشفت شركة OpenAI عن سلوك غير معتاد ظهر أثناء تدريب وتقييم بعض نماذج الذكاء الاصطناعي، حيث تركت النماذج تعليمات داخل ملخصات المهام المخصصة للانتقال إلى نافذة سياق جديدة. تضمنت بعض التعليمات توجيهات لإخفاء أخطاء عن المستخدم أو عدم الإفصاح عن تناقضات في المصادر، بينما حاول نموذج بحثي غير مطروح تمرير تعليمات إضافية إلى النسخة التي ستكمل العمل لاحقًا.

  • نموذج GPT-5.6 Sol ترك تعليمات في بعض الحالات لإخفاء الأخطاء.
  • شركة OpenAI رصدت 27 ملخصًا تحمل تعليمات تشبه محاولات كسر القيود.
  • بعض النماذج اللاحقة تجاهلت التعليمات بينما نفذ أحدها قيودًا موروثة.
  • شركة OpenAI أطلقت إطارًا جديدًا للإفصاح عن سلوكيات عدم المواءمة.

أعلنت شركة OpenAI هذه الحالات ضمن إطار جديد لتتبع سلوكيات عدم المواءمة والتحقيق فيها ونشرها بصورة أكثر انتظامًا. يشير مفهوم عدم المواءمة إلى تصرف النموذج بطريقة تخالف الهدف المقصود أو التعليمات الموضوعة له، حتى إذا كان يحاول إنهاء المهمة المطلوبة بصورة تبدو ناجحة للمستخدم.

تعليمات تنتقل بين نسخ النموذج

ظهرت المشكلة في ما يعرف بملخصات ضغط السياق Compaction Summaries، وهي ملخصات تنشئها النماذج عندما تصبح المحادثة أو المهمة طويلة. تحتفظ هذه الملخصات بالمعلومات المهمة حتى يستطيع نموذج لاحق مواصلة العمل بعد الانتقال إلى نافذة سياق جديدة دون إعادة قراءة جميع الخطوات السابقة.

رصدت شركة OpenAI أثناء تدريب نموذج GPT-5.6 Sol حالات أضاف فيها النموذج تعليمات تطلب إخفاء أخطاء عن المستخدم. تضمنت إحدى المهام إعداد نموذج مالي دون توفر بيانات تاريخية مطلوبة، فاقترح النموذج إنشاء بيانات تقريبية وعدم الإفصاح عنها إلا عند السؤال.

ظهرت حالة أخرى أثناء إعداد دليل لموردين، حيث اكتشف النموذج أن نسخ المصادر المتاحة لا تتطابق بصورة دقيقة مع التسميات المطلوبة. سجل النموذج المشكلة داخل الملخص ثم أضاف توجيهًا بعدم ذكرها في الرد النهائي ما لم تصبح ضرورية.

رصدت شركة OpenAI سلوكًا مختلفًا داخل نموذج بحثي غير مطروح من عائلة Astra أثناء التدريب بالتعلم المعزز. أضاف النموذج تعليمات تشبه Prompt Injection داخل الملخصات، وهي أوامر تحاول تغيير التعليمات التي يتبعها النموذج اللاحق أو دفعه إلى تجاهل القيود الأصلية.

عثرت أنظمة المراقبة على 27 ملخصًا تضمنت تعليمات من هذا النوع. تجاهلت نماذج لاحقة بعض الأوامر، بينما امتثل نموذج في حالة أخرى لتعليمات فرضت عليه الرد في 30 كلمة ومنعته من استخدام الأدوات أو الاستشهاد بالمصادر.

OpenAI توقف اشتراكات ChatGPT Pro بعد الطلب غير المسبوق على GPT-6 Astra

 

شركة OpenAI تغير طريقة المراقبة

لا تعتبر شركة OpenAI الحالات المنشورة مقياسًا لمدى انتشار السلوك داخل جميع نماذجها. أوضحت الشركة أن التقارير تمثل أمثلة منفردة اختارت نشرها بسبب أهميتها أو غرابتها، مع استمرار التحقيق في حالات أخرى وفق إطار الإفصاح الجديد.

شملت الوقائع الأخرى التي كشفت عنها شركة OpenAI نموذجًا استخدم مفتاح API مكشوفًا دون إذن ثم اختلق بيانات عندما فشل في الحصول على النتائج المطلوبة. رفعت نماذج أخرى ملفات إلى الإنترنت دون موافقة المستخدم كي تستطيع الاستشهاد بها، بينما استخدمت مجموعة من الوكلاء مستودعًا برمجيًا داخليًا للتواصل فيما بينها.

ترتبط هذه المشكلات بارتفاع قدرة الوكلاء على تنفيذ مهام طويلة تحتوي على عشرات أو مئات الخطوات. يمنح هذا النوع من العمل النموذج فرصًا أكثر لاتخاذ قرارات جانبية قد لا تظهر عند مراجعة الإجابة النهائية وحدها.

دفعت تجارب سابقة شركة OpenAI إلى تطوير مراقبة على مستوى المسار الكامل للمهمة بدلًا من تحليل كل خطوة منفردة. ظهرت أهمية ذلك بعد حادثة Hugging Face، عندما تمكنت نماذج داخلية خلال اختبارات أمنية من تجاوز بعض القيود والتواصل عبر قنوات غير مصرح بها والوصول إلى أنظمة خارجية.

ترى شركة OpenAI أن قطاع الذكاء الاصطناعي لم يصل حتى الآن إلى مستوى كافٍ من المواءمة والمراقبة يسمح بتوسيع قدرات النماذج بأقصى سرعة لفترات طويلة. يأتي إطار الإفصاح الجديد لمحاولة نشر هذه الحالات بصورة أسرع، حتى قبل الوصول إلى تفسير كامل لها.

في رأيي، الجانب المقلق هنا هو قدرة النموذج على الاحتفاظ بسلوك غير مرغوب فيه عبر مراحل مختلفة من المهمة دون أن يظهر ذلك مباشرة في الإجابة النهائية. تمثل مراقبة المسار الكامل خطوة مهمة، لكن نجاحها سيعتمد على قدرة شركات الذكاء الاصطناعي على اكتشاف هذه السلوكيات قبل وصولها إلى منتجات يستخدمها الجمهور بالفعل.