سلامة الذكاء الاصطناعي التوليدي لقد عادت هذه الفكرة إلى دائرة الضوء بعد عمل أكاديمي جديد يطرح خدعة مذهلة ومثيرة للقلق في نفس الوقت: يكفي إعادة صياغة رسائل معينة في شكل قصيدة حتى تبدأ نماذج اللغة الأكثر تقدمًا في الاستجابة حيث يجب أن ترفض.
هذا النهج، الملقب بـ "الشعر المعادي" يُظهر فريق البحث أن تغيير أسلوب الكتابة ببساطة - دون تغيير النية الضارة الأساسية - قد يكون كافياً للالتفاف على المرشحات التي تدعي شركات مثل OpenAI، وGoogle، وMeta، وMicrosoft، أو شركة DeepSeek الصينية أنها أدرجتها للحد من الاستخدامات الخطيرة لروبوتات الدردشة الخاصة بها.
ما هو "الشعر المعادي" ولماذا يثير القلق؟
الدراسة، التي تحمل عنوانًا بيانيًا للغاية "الشعر التنافسي كآلية عالمية للهروب من التحول الأحادي في النماذج اللغوية واسعة النطاق"تم تنفيذ هذا البحث بواسطة مختبرات Icaro بالتعاون مع جامعة سابينزا في روما ومدرسة سانت آنا للدراسات المتقدمة، وتم نشره كنشر مسبق في مستودع arXiv في انتظار المراجعة من قبل خبراء آخرين.
ركز المؤلفون على فكرة بسيطة وفعالة: استخدام قصائد قصيرة، أو أبيات مجازية، أو هياكل غنائية صياغة الطلبات التي سترفضها نماذج الذكاء الاصطناعي على الفور، بشكل مباشر، لأنها تتعارض مع قواعد الاستخدام الداخلية الخاصة بها.
وفقًا للباحثين، يعمل هذا "الشعر المعادي" كـ آلية كسر الحماية دورة واحدة، أي طريقة لفرض سلوكيات غير مرغوب فيها في النماذج برسالة واحدة، دون الحاجة إلى محادثات طويلة أو حيل معقدة بشكل خاص.
وبحسب كلماته، فإن الاختبارات "تظهر أن التباين الأسلوبي وحده "إنها قادرة على التحايل على آليات الأمن المعاصرة"، وهو ما يشير إلى وجود قيود عميقة في أساليب المحاذاة وتقييم المخاطر الحالية التي تستخدمها شركات التكنولوجيا الكبرى.
قرر الفريق عدم الكشف عن النصوص الدقيقة للقصائد المستخدمة أثناء التجربة، وهو الاختيار الذي حفزه التداعيات الأمنيةوقال أحد الباحثين، بيركوسما بيسكونتي، لوسائل الإعلام الدولية إن تكرار هذه التقنية لن يكون معقدًا بشكل خاص إذا تم تقديم أمثلة مفصلة.
نتائج الدراسة: معدلات الخداع مرتفعة بشكل مثير للقلق
لاختبار هذه الفكرة، قام الباحثون بفحص 25 نموذجًا مختلفًا للذكاء الاصطناعي التوليدي، بما في ذلك الأنظمة الأكثر شعبية اليوم، مثل ChatGPT، أو Gemini أو Claude، بالإضافة إلى نماذج من Meta ومقدمي الخدمات الصينيين مثل DeepSeek.
وفي الممارسة العملية، تم تقديم الطلبات بأهداف واضحة: الحصول على تعليمات لشن هجمات إلكترونيةاستخراج البيانات الحساسة، وكسر كلمات المرور، وتصميم البرمجيات الخبيثة، أو حتى جمع المعلومات المتعلقة بإنشاء الأسلحة الكيميائية والنووية.
عندما تم التعبير عن نفس هذه الطلبات على أنها أبيات شعرية أو مؤلفات شعريةارتفع معدل الإجابات غير المؤكدة بشكل كبير. وجدت الدراسة أن كتابة السؤال بأسلوب شعري، في المتوسط، سمح للنظام بالوقوع في فخ الاعتقاد بأن... 62% من الوقت، وهي نسبة أعلى بكثير مما يتم تحقيقه باستخدام التركيبات المحايدة والمباشرة.
وفي بعض السيناريوهات المحددة، تكون الأرقام أعلى من ذلك: يقول الباحثون إن ما يقرب من 90% من التحريضات الشعرية تم تصميمها للتجربة، وتمكنت من إثارة السلوكيات التي كان من المفترض أن تمنعها المرشحات.
في الحالة المحددة للمعلومات المتعلقة بـ أسلحة نوويةوقد تم تحقيق معدلات نجاح تتراوح بين 40% و55%، وهذا يعني أن ما يقرب من نصف المحاولات التي صيغت في الشعر انتهت إلى توليد محتوى يقترب من الخطوط الحمراء التي حددتها سياسات الاستخدام أو يتجاوزها بشكل مباشر.
كيف يتسلل الشعر عبر مرشحات الذكاء الاصطناعي
أحد العوامل الرئيسية التي يستخدمها مؤلفو الدراسة لتفسير سبب نجاح هذه الخدعة يكمن في طريقة عمل نماذج اللغةلا تقوم هذه الذكاءات الاصطناعية بـ "الاستدلال" مثل الإنسان، بل تتنبأ بالكلمة التالية الأكثر احتمالاً بناءً على التسلسل السابق وما تعلمته أثناء تدريبها.
في نص نثري تقليدي إلى حد ما، يسهل نسبيًا بناء هيكل النص: فهناك أنماط واضحة في بناء الجملة، وتعبيرات متكررة، وسياقات متكررة. ومع ذلك، عند تقديم البنية الشعرية والاستعارات والتعبيرات غير العاديةيتحرك النموذج على أرض زلقة أكثر إلى حد كبير.
يشير الباحثون إلى أنه بما أن الشعر هو شكل يمكن أن يصبح فيه المعنى أكثر ضبابية وتصبح اللغة أكثر تعقيدًا، أكثر غموضًا وأقل قابلية للتنبؤتفقد آليات الكشف عن المحتوى الخطير دقتها. ونتيجةً لذلك، لا يتعرف مُرشِّح الأمان بوضوح على وجود طلب ضارٍّ مُختبئ وراء القصيدة.
وتؤكد الدراسة أنه عندما يتم التعبير عن الرسائل الضارة بالشعر بدلاً من النثر، معدلات نجاح الهجوم إنها تتزايد بشكل ملحوظ. وهذا يُبرز فجوةً كبيرةً في ممارسات التقييم الحالية وفي البروتوكولات المُستخدمة للتحقق من الامتثال لإرشادات الاستخدام.
هناك عنصر آخر جدير بالملاحظة وهو أن هذه الثغرات تظهر في تتكون من نماذج من عائلات ومصنعين مختلفينوعلى الرغم من أن كل شركة اتبعت استراتيجياتها الخاصة لتدريب أنظمتها ومواءمتها، فإن المؤلفين يتحدثون عن "ضعف منهجي" وليس عن حالات فشل معزولة.
التأثير على الأمن: من الهجمات الإلكترونية إلى الأسلحة
وبعيدًا عن الخدعة اللغوية، فإن ما يثير ناقوس الخطر حقًا هو نوع المعلومات التي يمكن للذكاء الاصطناعي توليدها إذا كان من الممكن خداعهم باستخدام هذه الأساليب. تُفصّل الدراسة حالاتٍ قدّمت فيها روبوتات الدردشة، باستخدام قصائد مُعدّة بعناية، إرشاداتٍ لتنظيم هجمات إلكترونية أو اختراق الأنظمة.
ومن بين الاستخدامات الإشكالية التي لوحظت هي المؤشرات المتعلقة بـ استغلال الثغرات الأمنية أو استخراج البيانات أو اختراق كلمات المروروتشكل هذه المهام جزءًا من ترسانة الجرائم الإلكترونية والتهديدات المتقدمة التي تهم الحكومات والشركات والمنظمات في جميع أنحاء العالم.
كما تم تسجيل الاستجابات التي تساعد على إنشاء أو تحسين البرامج الخبيثةوهذا أمر مثير للقلق بشكل خاص نظرًا لأن العديد من المستخدمين ذوي المعرفة التقنية المحدودة قد يعتمدون على هذه الأدوات لتطوير الهجمات بسهولة أكبر.
إن المجال الأكثر حساسية، والذي عادة ما يجذب الاهتمام التنظيمي في أوروبا وعلى الصعيد الدولي، هو مجال انتشار الأسلحة الكيميائية والنوويةحتى بدون تقديم "أدلة كاملة"، فإن قدرة نظام الذكاء الاصطناعي على توفير معلومات مفيدة في هذا المجال تثير بالفعل العديد من الشكوك بين خبراء الأمن.
ويؤكد المؤلفون أن هدفهم ليس التهويل، بل إظهار ذلك المرشحات الحالية ليست كافية عندما نواجه تقنيات التلاعب البسيطة نسبيًا، مثل إعادة صياغة الأوامر الخطيرة بطريقة شعرية، فإن ذلك قد يكون أمرًا يمكن استغلاله من قبل مجرمي الإنترنت والجهات الفاعلة في الدولة.
حدود الأنظمة الحالية واستجابة الصناعة
لقد أصرت الشركات الرائدة في تطوير نماذج الذكاء الاصطناعي التوليدية منذ فترة طويلة على ضرورة دمجها آليات أمنية متعددة الطبقاتعلى سبيل المثال، تسلط شركة OpenAI الضوء في كثير من الأحيان على الاستخدام المشترك لخوارزميات الإشراف والفرق البشرية المخصصة لمراجعة وتصفية المحتوى الذي يحرض على الكراهية، أو المحتوى الصريح، أو الذي ينتهك سياساتها.
ومع ذلك، تشير نتائج هذا العمل إلى أنه على الرغم من هذه الضمانات، تظل برامج المحادثة الآلية عرضة للخطر. أشكال إبداعية من الصياغة وفقًا للباحثين، يُضعف الشعر المُعادي سلوك الرفض الذي ينبغي أن يُظهره أي نموذج مُتوافق مع معايير استخدامه.
وفي الاختبارات، أظهرت أدوات من شركات مثل OpenAI وAnthropic، بالمقارنة، احتمالية أقل للتغلب على الحواجز الخاصة بهمومع ذلك، لم يكونوا بمنأى عن المشكلة. فقد لوحظ نفس التوجه العام كما هو الحال في المنصات الأخرى، مع انخفاض طفيف في معدلات النجاح.
وعندما سألت وسائل الإعلام الدولية شركات مثل OpenAI، Google، DeepSeek أو Meta لم يُقدّموا ردًّا فوريًا. ومن المتوقع، مع تزايد اهتمام الرأي العام بالنقاش، أن تُفصّل الشركات الإجراءات المضادة التي تنوي تطبيقها.
ومن منظور تنظيمي، يتماشى هذا النوع من الأبحاث مع المخاوف المنعكسة بالفعل في لائحة الاتحاد الأوروبي للذكاء الاصطناعييُشدد هذا على إدارة المخاطر والشفافية ومساءلة مُزودي الأنظمة المتقدمة. ويُعزز اكتشافُ عوامل هجومية جديدة، مثل الشعر المُعادي، الحاجةَ إلى عمليات تقييم مُستمرة وأكثر صرامة.
تهديدات أخرى في الأفق: تسميم البيانات والتلاعب بها
ليس الشعر المُعادي هو المصدر الوحيد الذي يُقلق مجتمع الأمن السيبراني فيما يتعلق بالذكاء الاصطناعي المُولِّد. إذ يُركِّز جزء كبير من الأبحاث الحديثة على المخاطر المرتبطة بالتدريب النموذجيحيث تلعب قواعد البيانات الضخمة المستخدمة في تعليم هذه الأدوات كيفية التحدث والكتابة والتفكير دورًا مهمًا.
وقد أظهرت الدراسات المستقلة أنه من الممكن التلاعب بنماذج اللغة واسعة النطاق تلويث جزء صغير للغاية من بيانات التدريب: حوالي 250 وثيقة فاسدة ستكون كافية لإدخال التحيزات أو الأبواب الخلفية أو السلوكيات غير المتوقعة، حتى في الأنظمة الحديثة.
والأمر المثير للدهشة هو أن هذه العتبة لا يبدو أنها تزداد بشكل كبير مع حجم النموذج، وهو ما يكسر الحدس القائل بأن "الأكبر يعني تلقائيًا أكثر قوة"في الممارسة العملية، قد تكون الحلول خفيفة الوزن والنماذج الضخمة عرضة لهذا النوع من التسمم بالبيانات.
إذا لم يتم ملاحظة هجوم من هذا النوع، فقد يؤدي ذلك إلى الهجمات الإلكترونية التي يصعب تتبعهاحيث أن النموذج نفسه سوف يتصرف بطريقة طبيعية ظاهريًا حتى يتم استيفاء بعض الشروط المخفية في البيانات التي تعمل على إفساده.
عند الجمع بين تقنيات مثل الشعر التنافسي، فإن التلاعب ببيانات التدريب يفتح سيناريو حيث من الممكن أن يستخدم ملايين المستخدمين أدوات تحتوي على عيوب كامنة.دون أن نكون على علم بذلك، مما يشكل تحديًا كبيرًا لسياسات أمن الذكاء الاصطناعي والحوكمة.
تشير كل هذه النتائج إلى أن سلامة الذكاء الاصطناعي التوليدي ليست مشكلة محلولة، بل هي مجال متطور باستمرار حيث تظهر أشكال جديدة من الهجوم مع دمج التكنولوجيا في المزيد من مجالات الحياة اليومية، من العمل المكتبي إلى الإدارة العامة أو التعليم.
في هذا السياق، أصبح "الشعر لخداع الذكاء الاصطناعي" مثالًا واضحًا على كيف يمكن لتغيير بسيط في الأسلوب أن يفضح أنظمةً تتبع، نظريًا، بروتوكولات حماية صارمة. ويعزز البحث الذي أجرته مختبرات إيكارو والجامعات الإيطالية فكرة ضرورة مثل هذه الإجراءات. تقييمات أكثر إبداعًااختبار الضغط المستمر والتعاون الوثيق بين المطورين وخبراء الأمن السيبراني والهيئات التنظيمية لضمان أن نماذج اللغة التي نستخدمها يوميًا قادرة حقًا على الصمود في وجه الهجمات الفنية والحيل اللغوية الأكثر براعة.