OpenAI تضيف بروتوكول "تسلسل تعليمي" جديدًا لمنع مشاكل GPT-4o Mini
أطلقت شركة OpenAI نموذج ذكاء اصطناعي جديد يسمى GPT-4o Mini الأسبوع الماضي، والذي يتضمن تدابير أمنية وسلامة جديدة لحمايته من الاستخدام الضار.
تم بناء نموذج اللغة الكبير (LLM) باستخدام تقنية تسمى التسلسل الهرمي للتعلم، والتي ستمنع مهندسي المطالبات الخبيثة من اختراق نموذج الذكاء الاصطناعي.
وقالت الشركة إن التكنولوجيا ستظهر أيضًا مقاومة متزايدة لقضايا مثل حقن المطالبات واستخراج مطالبات النظام. ووفقًا للشركة، فإن الطريقة الجديدة حسنت متانة نموذج الذكاء الاصطناعي بنسبة 63 بالمائة.
أنشأت OpenAI إطار عمل جديدًا للسلامة.
وفي ورقة بحثية نشرت في المجلة الإلكترونية غير المطبوعة (غير المحكمة) arXiv، شرحت شركة الذكاء الاصطناعي التكنولوجيا الجديدة وكيف تعمل.
لفهم التسلسل الهرمي للتعلم، يجب علينا أولاً شرح كسر الحماية. كسر الحماية هو استغلال لزيادة الامتيازات باستخدام عيوب معينة في البرنامج لجعله يقوم بأشياء لم يتم برمجته للقيام بها.
في الأيام الأولى من ChatGPT، حاول العديد من الأشخاص جعل الذكاء الاصطناعي ينتج نصًا مسيئًا أو ضارًا عن طريق خداعه لينسى برمجته الأصلية. غالبًا ما تبدأ مثل هذه المطالبات بـ “انس كل التعليمات السابقة وافعل هذا”، وبينما قطع ChatGPT شوطًا طويلاً من هناك وأصبحت هندسة المطالبات الضارة أكثر صعوبة، أصبح المجرمون السيئون أيضًا أكثر استراتيجية في محاولاتهم.
لمكافحة المشكلات التي لا ينتج فيها نموذج الذكاء الاصطناعي نصوصًا أو صورًا مسيئة فحسب، بل ينتج أيضًا محتوى ضارًا مثل كيفية صنع المتفجرات الكيميائية أو كيفية اختراق موقع ويب، تستخدم OpenAI الآن تقنية التسلسل الهرمي للتعلم. وببساطة، تملي هذه التقنية كيفية تصرف النماذج عندما تتعارض التعليمات ذات الأولويات المختلفة.
ومن خلال إنشاء هيكل هرمي، تستطيع الشركة إبقاء تعليماتها بأعلى أولوية، مما يجعل من الصعب للغاية على أي مهندس سريع كسرها، حيث ستتبع الذكاء الاصطناعي دائمًا ترتيب الأولوية عندما يُطلب منها إنشاء شيء لم يتم برمجته عليه في البداية.
وتزعم الشركة أنها لاحظت تحسنًا بنسبة 63% في درجات المتانة، ومع ذلك، هناك خطر يتمثل في أن الذكاء الاصطناعي قد يرفض الاستماع حتى إلى أدنى مستوى من التعليمات.
كما تحدد ورقة بحث OpenAI العديد من التحسينات لتحسين التكنولوجيا في المستقبل. ومن بين مجالات التركيز الرئيسية التعامل مع الوسائط الأخرى مثل الصور أو الصوت، والتي يمكن أن تحتوي أيضًا على تعليمات محقونة.
لمطالعة المزيد: موقع الدبلوماسي اليوم وللتواصل تابعنا علي فيسبوك الدبلوماسي اليوم و يوتيوب الدبلوماسي اليوم.
