وكلاء ذكاء اصطناعي يخترقون أنظمة تابعة للحكومة الأسترالية، ووكلاء آخرون أفادت تقارير بأنهم تمكنوا من الخروج من بيئة معزولة واختراق منصة Hugging Face. لم تتسبب الحادثتان بأضرار خطيرة معروفة، لكنهما تضعان مشكلة أساسية في الواجهة: ماذا يحدث عندما يستطيع وكيل ذكاء اصطناعي تجاوز القيود التي يُفترض أن تتحكم في عمله؟

أمام هذا النوع من الحوادث، لم تعد حماية وكلاء الذكاء الاصطناعي مسألة تتعلق بما يُسمح للنموذج بفعله فقط، بل بكيفية منعه تقنياً من تجاوز حدوده إن لم يلتزم بها.

من هذه المشكلة تنطلق منصة Nvidia Open Agent Safety Platform التي كشفت عنها إنفيديا، وفق موقع SiliconANGLE. المنصة مجانية ومفتوحة المصدر، وصُمّمت لإضافة ضوابط تتجاوز النموذج نفسه، لتشمل الوكيل وموارد الحوسبة والعتاد (Hardware)، أي المكونات والأجهزة المادية التي يعمل عليها، بما يتيح مراقبته والتحكم في نشاطه على أكثر من مستوى.

حوادث كشفت ثغرات الحماية

تستند المخاوف التي تتحدث عنها إنفيديا إلى حوادث أمنية أظهرت قدرة بعض الوكلاء على تجاوز وسائل الحماية الموضوعة أمامهم.

في إحدى الحالات، اكتشف باحث مجموعة من وكلاء الذكاء الاصطناعي، بينهم وكلاء طوّرتهم أوبن إيه آي، اخترقوا أنظمة تسيطر عليها الحكومة الأسترالية، في حادثة لفتت انتباه رئيس الوزراء أنتوني ألبانيزي.

حادثة أخرى وقعت بين أيار/مايو وحزيران/يونيو، عندما عمل وكلاء لأوبن إيه آي معاً للخروج من بيئة Sandbox معزولة واختراق منصة استضافة النماذج Hugging Face.

ورغم عدم تسبب الحادثتين بأضرار خطيرة معروفة، ترى إنفيديا أنهما تظهران مدى سهولة التفاف الوكلاء على الحواجز التقليدية الموجودة على مستوى التطبيقات.

لهذا لا تعتمد مقاربة الشركة الجديدة على التعليمات البرمجية أو القيود داخل التطبيق وحدها. بدلاً من ذلك، تفرض المنصة قواعد عبر ثلاث طبقات منفصلة: الوكلاء أنفسهم، وموارد الحوسبة، والعتاد.

OpenShell.. عزل ومراقبة من الخارج

تعتمد المنصة على OpenShell، وهي بيئة تشغيل مفتوحة المصدر من إنفيديا مصممة لتشغيل مجموعات من الوكلاء المستقلين داخل بيئات Sandbox معزولة، مع ضوابط على مستوى البنية التحتية.

الفكرة هنا أن إجراءات الأمان لا تبقى تحت سيطرة نموذج اللغة نفسه. يسمح OpenShell بتتبع جميع أفعال الوكلاء وفرض سياسات أمنية مستقلة عن الحواجز المطبقة على النموذج الذي يشغّلهم.

جرى تحسين البرنامج للعمل على معالجات Vera التابعة لإنفيديا، لكنه متوافق أيضاً مع معالجات إنتل وArm.

شعار شركة إنفيديا (رويترز)

Sentry.. رقابة تصل إلى العتاد

تضيف إنفيديا طبقة أخرى عبر Nvidia Sentry، وهو تصميم مرجعي يعتمد على برمجيات DOCA ويعمل على وحدات BlueField-4.

DOCA هي بنية برمجية موحدة تتيح تطوير تطبيقات تعمل على وحدات معالجة البيانات المتخصصة BlueField، المعروفة اختصاراً باسم DPU، بطريقة تشبه استخدام CUDA لتطوير تطبيقات مهيأة للعمل على وحدات معالجة الرسوميات.

تكمن أهمية Sentry في أنه يعمل مباشرة من داخل العتاد ويراقب نشاط الوكلاء باستمرار. يفحص الطلبات ويتحقق من الهويات والتصرفات، ويمكنه إيقاف الوكيل فوراً إذا حاول التحرك خارج النطاق المخصص له.

وقال الرئيس التنفيذي لإنفيديا جنسن هوانغ إن السلامة والأمن يتطلبان هندسة تشمل كامل المنظومة، مشيراً إلى أن المنصة تجمع الشركات والباحثين ومؤسسات القطاع العام لتبادل أفضل الممارسات وتنسيق طرق التقييم وتعزيز التعاون الدولي.

من البرمجيات إلى الروبوتات

بدأت تقنيات المنصة تدخل أنظمة عدد من الشركات، بحسب إنفيديا. تستخدم SpaceXAI المنصة لتأمين وكلاء البرمجة في Cursor ونموذج Grok.

ودمجت Salesforce برنامج OpenShell مع Slack لتوفير الموافقة البشرية المباشرة وإمكانيات الرؤية والتدقيق في نشاط الوكلاء، بينما تستخدمه SAP لتوفير الحماية أثناء تشغيل وكلائها المستقلين ضمن SAP Business AI Platform.

يمتد الاستخدام إلى العالم المادي أيضاً. تعتمد Figure AI وGecko Robotics وSkild AI على OpenShell لإضافة ضوابط أمان إلى الأنظمة التي تشغّل روبوتات مستقلة في العالم الحقيقي.

حماية خارج عقل الوكيل

لا يزال من غير المعروف مدى موثوقية Nvidia Open Agent Safety Platform عند استخدامها على نطاق واسع، خصوصاً أمام القدرة التي أظهرها بعض الوكلاء على الالتفاف على القيود.

لكن المقاربة التي تطرحها إنفيديا تنقل جزءاً أساسياً من الأمان إلى خارج نموذج الذكاء الاصطناعي. بدلاً من الاعتماد فقط على تعليمات يفترض أن يلتزم بها الوكيل، تصبح هناك رقابة تمتد إلى بيئة التشغيل وموارد الحوسبة والعتاد، مع إمكانية التدخل وإيقاف النشاط عند الخروج عن النطاق المسموح.