Super Mario Bros.. تكشف نقاط ضعف الذكاء الاصطناعى

لطالما تم استخدام الألعاب لاختبار قدرات الذكاء الاصطناعي ، ولكن يبدو أنها Super Mario Bros. إنها الآن معيار جديد أكثر تعقيدًا من Pokémon! في دراسة حديثة أجراها مختبر مختبر HAO AI في جامعة كاليفورنيا سان دييغو ، تم وضع نماذج الذكاء الاصطناعي الرائدة في مواجهة مباشرة مع Super Mario Bros. ، وكانت النتائج مفاجئة.

نتائج الاختبار

تم تشغيل اللعبة في محاكي خاص مضغوط مع إطار عمل Gamingagent ، والذي أعطى الذكاء الاصطناعي القدرة على التحكم في شخصية ماريو من خلال أوامر البرمجيات. يتم تزويد النماذج بتعليمات أساسية مثل “إذا كانت هناك عقبة أو عدو قريبة أو قفز أو ينتقل إلى اليسار لتجنبها” ، إلى جانب لقطات من اللعبة لمساعدتها على اتخاذ القرارات.

جاء أفضل أداء من طراز Claude 3.7 من الإنسان ، يليه كلود 3.5 ، في حين عانى Google Gemini 1.5 Pro و Openai GPT-4O في مباراة التحدي. كانت المفاجأة هي أن النماذج التي اعتمدت على نماذج Rasoning ، مثل GPT-4O ، كانت أسوأ من النماذج الأخرى ، على الرغم من تفوقها في اختبارات الذكاء الاصطناعي التقليدية.

لماذا يواجه الذكاء الاصطناعي صعوبة في الألعاب؟

وفقًا للباحثين ، فإن السبب الرئيسي لضعف الأداء لنماذج “التفكير المنطقي” هو أنها تستغرق وقتًا طويلاً لاتخاذ القرارات. في ألعاب مثل Super Mario Bros. ، فإن الوقت هو كل شيء – قد يكون التأخير لثانية واحدة هو الفرق بين القفز بنجاح أو الوقوع في الهاوية!

هل الألعاب معيار حقيقي لتقييم الذكاء الاصطناعي؟

لطالما تم استخدام الألعاب لاختبار الذكاء الاصطناعي ، ولكن هناك أسئلة حول دقة هذه الاختبارات. الألعاب محدودة وبيئات مجردة مقارنة بالعالم الحقيقي ، وتوفر كميات هائلة من البيانات للتدريب ، والتي قد لا تعكس التحديات الحقيقية التي تواجه الذكاء الاصطناعي في المواقف الواقعية.

وصف أندريه كارباتي ، باحث Openai ، هذه الاختبارات بأنها “أزمة تقييم” ، قائلاً في منشور على منصة X: “لا أعرف حقًا ما هي المعايير التي يجب أن تركز عليها حاليًا … لا أعرف مدى قوة هذه النماذج!” ولكن على الأقل ، يمكننا الآن رؤية الذكاء الاصطناعي يلعب ماريو!