ByteDance تطور نموذجًا جديدًا قادرًا على إنشاء مقاطع فيديو واقعية للبشر
شاركت الشركة ، التي تقف خلف Tiktok ، في بحث جديد حول إطار الذكاء الاصطناعي (AI) المسمى Omnihuman ، وهو إطار لتوليد الفيديو يمكنه إنشاء مقاطع فيديو بشرية واقعية مع حركة الجسم بالكامل ومزامنة الشفاه.
يتطور Bytedance Omnihuman ،
ذكر الباحثون أن الأمر يتطلب صورة بشرية جنبًا إلى جنب مع إشارات الحركة مثل الفيديو أو الصوت لإنشاء المخرجات ، وقد تمت مشاركة العديد من مقاطع الفيديو التوضيحية التي تم إنشاؤها باستخدام نموذج الذكاء الاصطناعي ، مما يدل على واقعية المنتج النهائي.
تجدر الإشارة إلى أن الشركة ذكرت أن نموذج الذكاء الاصطناعي متاح في المجال العام.
يمكن أن ينشئ Omnihuman أيضًا مقاطع فيديو بشرية واقعية. شارك الباحثون العديد من الرسوم التوضيحية وتفصيل إطار العمل على موقع الويب الخاص بهم ، وهو نظام شامل تم إنشاؤه باستخدام استراتيجية تدريب مختلطة متعددة الوسائط جديدة لتكييف الحركة.
على الرغم من أن الباحثين لم يشاركوا أي معايير مرجعية ، فقد ادعوا أن نموذج الذكاء الاصطناعي “يتفوق بشكل كبير على الأساليب الحالية”.
يمكن لـ Omnihuman أيضًا إنشاء مقاطع فيديو باستخدام صورة الشخص وإشارة الحركة ، ويمكن أن تكون إشارات الحركة فقط صوتًا أو فيديوًا فقط أو مزيج من الصوت والفيديو.
يمكن لنموذج الذكاء الاصطناعي أيضًا إنشاء مقاطع فيديو واقعية بناءً على مطالبات النصوص ، ويمكن أن تكون مقاطع الفيديو هذه للجسم بأكمله حيث يمكن مزامنة النهايات وتعبيرات الوجه وحركة الشفاه مع الصوت أو الموسيقى التي يتم تشغيلها في الخلفية.
يمكن أن يقوم Omnihuman بإنشاء مقاطع فيديو بمعدل عرض إلى ارتفاع مختلف ، مما يسمح بالمرونة للمستخدمين ، واستخدام إشارات الحركة هو تقنية جديدة تسمى الشركة ذات الظروف المتعددة ، ومن خلال هذا ، يتم تدريب نموذج الذكاء الاصطناعي بطرق مختلفة ، بما في ذلك النص والصورة والصوت والفيديو.
قال الباحثون إن هذا سمح للنموذج بتعلم تكييف الهواء المختلط الذي يتغلب على ندرة البيانات عالية الجودة.
تجدر الإشارة إلى أنه تم تدريب النموذج في 18700 ساعة من بيانات الفيديو البشري ، حيث تم توثيق التفاصيل المتعلقة بعملية التدريب في ورقة بحثية منشورة في مجلة Arxiv Electronic.
شاركت الشركة أيضًا العديد من الرسوم التوضيحية لمقاطع الفيديو التي تم إنشاؤها باستخدام النموذج ، وتبدو النتائج واقعية للغاية مع حركات الجسم الطبيعية وإيماءات اليد وحركات الشفاه.
أثارت هذه الواقعية أيضًا مخاوف بشأن التزوير العميق. ومع ذلك ، قررت الشركة أن نموذج الذكاء الاصطناعي غير متاح حاليًا للتنزيل ، ولا توجد خدمة يمكن للأشخاص استخدامها للوصول إلى إمكاناتها.
لمطالعة المزيد: موقع السفير وللتواصل تابعنا علي فيسبوك السفير و يوتيوب السفير .
