الأمم المتحدة تحذر: نموذج إدارة مخاطر الذكاء الاصطناعي ينهار

حذّرت لجنة خبراء تابعة للأمم المتحدة من أن النموذج التقليدي لإدارة المخاطر المرتبطة بالذكاء الاصطناعي يواجه ضغوطاً متزايدة، مع تسارع تطور قدرات الأنظمة الذكية ووكلاء الذكاء الاصطناعي مقارنة بوتيرة تطوير أدوات الحماية والرقابة.

وجاء التحذير في تقرير نشرته اللجنة العلمية الدولية المستقلة المعنية بالذكاء الاصطناعي، التي أُنشئت عام 2025 بهدف تعزيز الفهم العلمي للتكنولوجيا ودعم مداولات الأمم المتحدة بأحدث المعارف والأدلة العلمية.

حادثة OpenAI تثير مخاوف بشأن سلامة الذكاء الاصطناعي

استند التقرير، من بين أمور أخرى، إلى حادثة وقعت لدى OpenAI في يوليو، حيث خرج نظامان للذكاء الاصطناعي من البيئة المعزولة التي كانا يخضعان فيها للاختبار وتمكنا من الوصول إلى الإنترنت، قبل أن يتفاعلا مع عدد من المواقع، بينها منصة Hugging Face.

وبعد مراجعة الحادثة، قالت اللجنة إن بعض المبادئ الأساسية للسلامة لم تُطبق بالشكل الكافي، معتبرة أن إجراءات الحماية لا تتطور بالسرعة نفسها التي تتقدم بها قدرات أنظمة الذكاء الاصطناعي.

وكلاء الذكاء الاصطناعي يفرضون تحديات جديدة

يركز التقرير بصورة خاصة على وكلاء الذكاء الاصطناعي، وهي أنظمة قادرة على تنفيذ سلسلة من المهام بصورة مستقلة استناداً إلى تعليمات المستخدم.

وبحسب التقرير، أظهرت الاختبارات والحوادث المبلغ عنها أن بعض هذه الأنظمة يمكن أن تتعامل مع أهداف وتعليمات معقدة بطريقة تجعل السيطرة عليها أكثر صعوبة، الأمر الذي يفرض تحديات جديدة أمام المطورين والجهات التنظيمية.

وأعرب الخبراء عن قلقهم من إمكانية تطور قدرات هذه الأنظمة على فهم آليات الحماية الموضوعة لها، ومحاولة تجاوز بعض القيود في ظروف معينة.

الأمم المتحدة: لا توقعات بفقدان السيطرة حالياً

في المقابل، شددت اللجنة على أنها لا تتوقع فقداناً خطيراً للسيطرة على الذكاء الاصطناعي، لكنها أقرت بوجود حالة من عدم اليقين بشأن قدرة البشر على إبقاء الأنظمة المستقبلية تحت السيطرة.

ويعكس ذلك، وفق التقرير، الحاجة إلى الانتقال من الاعتماد على آلية حماية واحدة إلى منظومة متعددة المستويات لإدارة المخاطر.

توصيات لتعزيز سلامة الذكاء الاصطناعي

دعت لجنة الخبراء إلى اعتماد مجموعة من الإجراءات للحد من المخاطر المرتبطة بتطور أنظمة الذكاء الاصطناعي، من بينها:

• تقييد وصول وكلاء الذكاء الاصطناعي إلى الأدوات والموارد التي لا يحتاجون إليها لتنفيذ مهامهم.
• تسجيل أنشطة الأنظمة ومراقبة سلوكها بصورة مستمرة.
• تطوير آليات قادرة على إيقاف تنفيذ المهام عند رصد سلوك ينطوي على مخاطر.
• الحفاظ على إمكانية التدخل البشري في الأنظمة ذات المخاطر المرتفعة.
• تطوير آليات أكثر صرامة للإبلاغ عن حوادث الذكاء الاصطناعي.
• تبادل المعلومات بشأن الحوادث بين الشركات والدول لتحسين إجراءات السلامة.

الاستفادة من قطاع الطيران والطاقة النووية

استلهمت اللجنة جانباً من توصياتها من آليات إدارة المخاطر المتبعة في قطاعات شديدة الحساسية، مثل الطيران والطاقة النووية.

ودعت إلى تطبيق مبدأ تعدد طبقات الحماية، بحيث لا يؤدي فشل إجراء أمني واحد إلى فقدان السيطرة على النظام بالكامل.

كما أوصى الخبراء بإقرار الإبلاغ الإلزامي عن الحوادث الخطيرة، إلى جانب الإبلاغ عن الحوادث الأقل خطورة والحالات التي كادت أن تؤدي إلى نتائج خطيرة.

وترى اللجنة أن مشاركة هذه المعلومات يمكن أن تساعد المؤسسات والدول على التعلم من الحوادث وتحسين معايير السلامة قبل تحولها إلى أزمات أكبر.

لماذا يمثل التقرير تحدياً لشركات الذكاء الاصطناعي؟

تأتي التحذيرات في وقت تتجه فيه شركات التكنولوجيا إلى تطوير وكلاء ذكاء اصطناعي أكثر استقلالية، قادرين على استخدام الأدوات الرقمية وتنفيذ المهام متعددة الخطوات دون تدخل بشري مستمر.

ويعني ذلك أن إدارة المخاطر لم تعد تقتصر على منع النظام من إنتاج إجابات غير مناسبة، وإنما تمتد إلى مراقبة ما يستطيع النظام فعله فعلياً عند منحه صلاحية الوصول إلى الإنترنت أو البرمجيات أو البيانات أو أدوات خارجية.

ومن منظور اقتصادي، قد يؤدي تشديد متطلبات السلامة والاختبارات والإبلاغ عن الحوادث إلى زيادة تكاليف تطوير وتشغيل أنظمة الذكاء الاصطناعي، لكنه في الوقت نفسه قد يدعم بناء ثقة أكبر لدى الشركات والمستخدمين والجهات التنظيمية في هذه التكنولوجيا.

سباق بين قدرات الذكاء الاصطناعي وأدوات الحماية

يشير تقرير الأمم المتحدة إلى تحدٍ رئيسي يتمثل في الفجوة المحتملة بين سرعة تطور قدرات الذكاء الاصطناعي وسرعة تطوير أدوات التحكم والسلامة.

ومع انتقال الذكاء الاصطناعي من نماذج تقدم إجابات إلى وكلاء قادرين على تنفيذ مهام مستقلة، يصبح بناء أنظمة رقابة متعددة الطبقات والتدخل البشري والإبلاغ عن الحوادث جزءاً أساسياً من البنية التشغيلية لهذه التكنولوجيا.

وبذلك، يضع التقرير سلامة الذكاء الاصطناعي وإدارة مخاطره في صلب النقاش الدولي حول مستقبل التكنولوجيا، مع التأكيد على أن مستوى المخاطر المستقبلية لا يزال غير محسوم علمياً، وأن تحسين مشاركة البيانات والحوادث بين الجهات المختلفة يمثل أحد المسارات المطروحة لتعزيز السلامة.