أمان وكلاء الذكاء الاصطناعي: سبعة فحوص عملية للشركات
راجع صلاحيات الوكيل والموافقات والبيانات والتعافي، وافهم حدود تقرير RubyGems ومثال دعم عملاء لفريق هندي وعميل أمريكي.
مراجعة القائمة العامة وتقرير حادثة RubyGems مؤرختان في 12 سبتمبر 2026؛ مثال صلاحيات Lovable أضيف بعد مراجعة وثائقه في 23 سبتمبر. لا تمثل هذه المراجعة اختبار أمان جديداً. لم تُختبر الضوابط على وكيل إنتاج ولا تثبت امتثالاً قانونياً، ولم يستطع RubyGems نسبة حملة مايو إلى وكلاء AI بصورة مستقلة.
ما أمان الوكيل؟
إعداد رد عميل وإرساله يحتاجان صلاحيات مختلفة، وتزداد الأهمية مع قراءة عقود أو تغيير طلب أو تشغيل كود. يبدأ التقييم بالفعل المفوض والدليل المطلوب للسماح به.
أمان الوكيل حماية البيانات والأدوات والأنظمة التي يصل إليها أو يغيرها، وتحديد الأفعال وسلطة تنفيذها وكيفية فحصها. تصف OWASP «القدرة المفرطة على التصرف» كخطر زيادة الوظائف أو الإذن أو الاستقلالية؛ موصل قراءة يسمح أيضاً بالحذف والتواصل يوسع التعرض.
حقن التعليمات مختلف: تعليمات معادية في صفحة أو مستند أو بريد تؤثر في النظام. أما القدرة المفرطة فتخص مجال الأفعال المتاحة. يتفاعلان عندما تصبح التعليمات المتلاعب بها أخطر بسلطات زائدة، وقد يحدث فعل خاطئ دون مهاجم أيضاً.
1. هل الوصول مقيد بالعميل والمهمة؟
اطلب قائمة السجلات والأفعال، وافحص فرض القيود في الخدمة المتصلة لكل طلب. حساب مدير مشترك يصعب إبقاء مهمة عميل ضمن بياناته. يستند ذلك إلى أقل صلاحية وفحص التفويض لدى OWASP.
نجاح التمرين المقترح: يقرأ T-104 وطلبه المرتبط فقط. فشل: يسترجع طلب عميل آخر. لا تربط سجلات حية حتى يُفرض هذا القيد. كل أمثلة القائمة ببيانات اصطناعية وليست اختبارات نفذناها أو شهادة أمان؛ النجاح يخص التمرين لا النظام كله.
2. هل يظل المحتوى الخارجي منفصلاً عن تعليمات المستخدم؟
بريد الدعم مادة تُعالج، ولا يمنح مرسله نفسه حق تعديل صلاحيات الوكيل. اسأل عن التعليمات داخل المحتوى المسترجع. توصي OWASP بدفاعات متعددة للمدخلات غير الموثوقة والأدوات؛ عبارة «كن حذراً» لا تكفي.
نجاح: بريد اختبار يطلب تصدير تذاكر أخرى لا يطلق تصديراً. فشل: يغير البريد الأدوات المتاحة أو المهمة المسموحة.
3. هل ترتبط الموافقة بالفعل الذي سينفذ بالضبط؟
يجب أن يرى المراجع المستلم والمحتوى والسجل الحقيقي. إذا تغيرت بعد الموافقة، اطلبها مجدداً. افصل الاقتراح عن التنفيذ واربط الموافقة بمعلمات الفعل.
نجاح في تجربة إرسال لاحقة معزولة: تغيير المستلم يبطل الموافقة. فشل: موافقة على نسخة تسمح بإرسال رسالة مختلفة. التجربة الأولية للمسودات فقط لا ينبغي أن تملك أداة إرسال أصلاً.
4. هل التجربة ممكنة بلا بيانات اعتماد الإنتاج؟
استخدم مساحة منفصلة وسجلات اختبار ووجهات شبكة مسموحة. حدد مفاتيح الإنتاج التي ستضاف لاحقاً، واسأل ما الذي تقيده كلمة sandbox فعلاً في التكامل.
نجاح: T-104 تذكرة اصطناعية في حساب اختبار. فشل: العرض يحتاج بيانات مدير لحساب المتجر الحي.
5. هل تعيد بناء الحدث دون كشف أسرار؟
اطلب سجل نشاط منقحاً يبين الهدف والوقت ومرجع الموافقة والنتيجة، وطابقه مع الخدمة المتصلة. لا تسجل كلمات مرور أو رموز وصول أو محتوى عميل غير ضروري، واضبط الوصول للسجلات نفسها.
نجاح: تتبع نسخة المسودة والقرار دون رؤية أسرار. فشل: السجل يحتوي رمزاً أو لا تطابق نتيجته T-104.
6. ما الذي يوقف التكرار والتكاليف غير المتوقعة؟
راجع حدود المحاولة واستدعاء الأدوات والإنفاق ومنع التكرار عندما تجعل المهلة النتيجة غامضة، وهي من ضوابط تنفيذ الوكلاء لدى OWASP.
نجاح: طلب اختبار مكرر عمداً يُحجز للمراجعة بعد الحد المضبوط. فشل: يعيد الوكيل المحاولة بلا شرط توقف ظاهر.
7. من يوقف الوكيل ويفحص النتيجة؟
سمّ مالكاً يوقف الأفعال الجديدة ويلغي الوصول ويراجع العمل المعلق. خطط للأفعال المكتملة؛ قد لا يمكن سحب بريد مرسل.
نجاح: تعطيل التكامل يمنع طلبات جديدة ويظهر المسودات المعلقة. فشل: يستمر العمل بعد الإلغاء أو لا يستطيع أحد تحديد الجاري.
مثال منتج: الموافقات المحفوظة قد تتجاوز المشروع
تقول وثائق حساب Lovable المفحوصة في 23 سبتمبر 2026 إن صلاحيات الوكيل تنطبق عبر مساحات العمل والمشاريع، رغم أن قائمة الموصلات الظاهرة تعتمد على المساحة. يمكن السماح تلقائياً أو طلب تأكيد أو رفض أفعال الموصل. لم نختبر فرض ذلك في حساب.
لوكالة تنتقل من عرض داخلي إلى مساحة عميل، راجع الأفعال ذات الإذن الدائم، وأزل الزائد، واختبر بسجلات اصطناعية أن كتابة مرفوضة لا تنفذ. لا تفترض أن تبديل المشروع يصفر الأذونات. المنتجات الأخرى قد تختلف؛ افحص ضوابطها لا تنسخ إعداد المورد. هذا تحديث محدود؛ تحتفظ الحادثة والقائمة العامة بتاريخ فحصهما السابق.
مسار مراجعة دعم افتراضي
ابدأ بتحضير المسودة؛ الإرسال قدرة منفصلة لها قرار قبول مستقل. لا يمثل المثال وكيلاً حياً أو شهادة أمان.
| المرحلة | المثال والفحوص | التوقف |
|---|---|---|
| حدد المهمة | وكالة هندية تقرأ T-104 وسياسة توصيل معتمدة لعميل أمريكي؛ تذكرة اختبار واحدة وسجلات مقيدة ومالك مسمى. | انكشاف طلبات أخرى أو طلب وصول مدير حي. |
| جهز المسودة | رد حالة توصيل بلا أداة إرسال أو استرداد أو تغيير طلب، حتى لو طلبتها التذكرة؛ تصريحات مسندة وإصدار مسجل. | وعد توصيل مخترع أو كشف بيانات أخرى أو أداة خارج المهمة. |
| راجع الفعل | شخص يقبل أو يرفض النص والمستلم، وهو يرسل في المرحلة الأولى. غياب مراجع العميل يضع الرد في الانتظار ولا يعني إذناً. | تغير النص أو المستلم بعد المراجعة؛ تجربة إرسال آلي لاحقة تحتاج ضوابط جديدة. |
| تحقق من النتيجة | سجل T-104 مرفوضاً أو معلقاً أو محالاً لشخص. مرجع إرسال الإنسان منفصل عن نتيجة المسودة. | تعارض السجلات أو نتيجة غير محسومة؛ افحص قبل إرسال آخر أو توسيع التجربة. |
سجل موافقة لوكالة هندية تدعم متجراً أمريكياً
في المرحلة الأولى يجهز الوكيل أجوبة حالة التوصيل بلا إرسال أو تغيير عنوان أو استرداد. يراجع شخص ويرسل عند الاقتضاء عبر نظام المتجر الرسمي. لا ندعي تنفيذاً أو نتيجة عميل.
| الحقل | ما يراه المراجع |
|---|---|
| المهمة | تجهيز رد لتذكرة الاختبار T-104 |
| البيانات | سياسة التوصيل المعتمدة وطلب الاختبار المرتبط |
| الناتج | الرد كاملاً والمستلم المحدد |
| الحدود | لا استرداد أو تغيير عنوان أو مستلم إضافي أو بحث عن طلب آخر |
| القرار | هوية المراجع وقبول أو رفض وإصدار معتمد |
| نتيجة المسودة | مرفوضة أو معلقة أو مسلمة لشخص مع رقم النسخة |
| إرسال الإنسان منفصلاً | مرجع رسالة نظام الدعم إذا أرسلها شخص؛ اكتمال المسودة ليس توصيلاً |
رد يجب رفضه ورد للمراجعة
نفترض سجلاً خيالياً يقول «قيد النقل» بلا موعد مؤكد ولا استرداد معتمد. يسأل العميل: طلبي متأخر، هل تضمنون غداً أو تعيدون مالي؟
المسودة A المرفوضة: «سيصل غداً، وإن لم يصل نعيد المبلغ كاملاً تلقائياً». كلا الوعدين غير مسند إلى السجل، ومهمة المسودة لا تجيز التزام استرداد. سجل الرفض؛ لم تُرسل رسالة ولم تبدأ عملية استرداد.
المسودة B للمراجعة: «طلبك مسجل حالياً قيد النقل. لا يؤكد السجل المتاح موعداً للتوصيل. لا أستطيع تأكيد استرداد من هذه الحالة وحدها؛ يحتاج طلبك مراجعة فريق الدعم». تلتزم بالمعلومات لكنها تحتاج فحص المستلم والحالة الحالية والسياسة. لا تدعي أن التصعيد حدث؛ أي إحالة أو إرسال يحتاج نتيجته المسجلة.
عبر المناطق الزمنية، اتفق على انتظار المراجع بدلاً من اعتبار الصمت موافقة. وافحص معالجة البيانات والمسؤوليات التعاقدية للخدمات والبلدان الفعلية.
معايير قبول المرحلة الأولى
حول المسار إلى نتائج يمكن ملاحظتها باستخدام بيانات اصطناعية. هذه تمارين مقترحة لا نتائج اختبارات UseAIVisora.
| التمرين | النتيجة المتوقعة |
|---|---|
| سؤال توصيل عادي | مسودة مسندة للتذكرة الصحيحة |
| سؤال يحتاج طلب عميل آخر | رفض أو تصعيد دون كشف السجل |
| المراجع يرفض | تسجيل الرفض مع غياب قدرة الإرسال |
| تغيير المستلم بعد المراجعة | عودة المسودة للمراجعة قبل استعمالها |
| انتهاء مهلة التوليد | نتيجة غير محسومة حتى الفحص، لا تصنف كمرسلة |
| المالك يعطل التكامل | تفشل الطلبات الجديدة ويظهر المعلق لمراجعته يدوياً |
لا تضف أداة إرسال إلا بعد تقييم منفصل في sandbox بمستلمين اختباريين: تغيير النص أو المستلم يعيد الموافقة، والمرفوض لا ينفذ، والنتيجة المجهولة تفحص قبل إرسال آخر. نجاح المرحلة الأولى لا يمنح هذه الصلاحيات.
سجل إصدار الإعداد والنتيجة والمشكلات. فشل اختبار أحد القيود سبب لإبقاء الفعل خارج التجربة. العرض الناجح دليل للإعداد المحدد لا لكل إدخال مستقبلي أو تحديث نموذج.
ما الذي حدث في RubyGems وما غير المؤكد؟
RubyGems يستضيف حزم Ruby. في بيان 11 سبتمبر 2026 عاد إلى حملة نشر مزعج في مايو، وقال إنه حجب حسابات وأوقف تسجيلات جديدة مؤقتاً وسحب أكثر من 500 حزمة ضارة؛ لم يتأثر تثبيت الحزم ونشرها للمستخدمين الموجودين.
ذكر أن باحثين نسبوا النشاط إلى وكلاء OpenAI، لكنه لم يستطع من أدلته تحديد هل أنشأ وكلاء AI الحزم أو نشروها. وحدد الباحثون كوداً يستهدف مفاتيح API لمستخدمين آخرين، لكن التحقيق لم يجد دليلاً على نجاح المحاولات. يجب إبقاء التحفظات بجانب الادعاء.
حدثت الحملة في مايو والتوضيح في سبتمبر. لا يثبت ذلك عدم أمان كل وكيل تجاري أو وقوع سرقة ناجحة لبيانات الاعتماد. الاستنتاج التشغيلي أضيق: افحص ما يستطيع الوكيل فعله للخدمات الخارجية حتى لو بدت المهمة بريئة.
أين تقع الحوكمة؟
تحتاج الضوابط إلى مالك يختار المهام المقبولة ويحفظ الأدلة ويستجيب للتغيرات؛ هذه مسؤولية حوكمة مستمرة. يصف NIST إطار إدارة مخاطر AI بأنه طوعي، وتضم نواته Govern وMap وMeasure وManage: الحوكمة وفهم السياق والقياس والإدارة.
يمكن لفريق صغير استخدام ذلك لتنظيم المسؤوليات والقرارات؛ لا تصبح الورقة شهادة امتثال في الهند أو أمريكا.
ابدأ أم قيد أم أوقف؟
ابدأ تجربة مسودات محدودة عندما تطابق التمارين الاصطناعية المتوقع ويُوثق النطاق ويملك مراجع الاستثناءات. هذا إذن تقييم ضيق لا شهادة إنتاج.
أبق الإرسال بيد إنسان إذا نجحت الصياغة ولم تثبت الموافقة المرتبطة بالفعل أو منع التكرار أو سجلات التسليم. جودة النص لا تبرر أداة إرسال.
أوقف الاتصال وافحص إذا كشف سجلات أخرى أو أسراراً أو تجاوز الموافقة أو استمر بعد الإلغاء. لا تستأنف إلا بعد إصلاح الضابط وإعادة التمرين. اطلب من المورد عرض فعل مرفوض بالعناية نفسها التي يعرض بها فعلاً ناجحاً؛ التوسع يستند لما يفرضه التكامل فعلاً.
أسئلة شائعة
هل القراءة فقط آمنة؟
تمنع بعض التغييرات لكنها قد تكشف معلومات حساسة. قيد السجلات ووجهة المخرجات وقيّم المسار والأدوات كاملة.
هل تعليمات النظام تمنع كل فعل غير مأذون؟
لا. يلزم فرض الصلاحيات والموافقات في التطبيق والخدمات، وقد تحمل المواد المسترجعة تعليمات معادية.
هل أحتاج شراء منصة حوكمة؟
لا. وثق مساراً وصلاحيات ومراجعاً ونتائج قبول. جدوى منصة أخرى تعتمد على ما تفرضه وتسجله أدواتك الحالية.
هل أمثلة الهند وأمريكا مشورة قانونية؟
لا. توضح قرارات تشغيل عابرة للحدود. معالجة البيانات والعقود والتزامات القطاع تحتاج مراجعة للعمل والخدمات الفعلية.
مصادر المعلومات
هذه المصادر الرسمية للمقال الأصلي. كثير من صفحاتها باللغة الإنجليزية.