كيفية إنشاء رسومات Grand Theft Auto 5 واقعية باستخدام التعلم العميق

قبل أن تحكم على لي ، دعنا نعترف بذلك ، لقد فعلنا جميعًا ذلك في GTA.

هذا المشروع هو استمرار لمقالتي السابقة. في ذلك ، أوضحت كيف يمكننا استخدام CycleGANs لنقل نمط الصورة ، وتطبيقه لتحويل رسومات Fortnite وجعلها تبدو مثل PUBG.

CycleGAN هو نوع من شبكة الخصوم التوليدية القادرة على محاكاة النمط المرئي لصورة ما ونقلها إلى أخرى. يمكننا استخدامه لجعل رسومات اللعبة تبدو مثل لعبة أخرى أو العالم الحقيقي.

في هذه المقالة ، أردت مشاركة المزيد من النتائج باستخدام نفس خوارزمية CycleGAN التي تناولتها في عملي السابق. أولاً ، سأحاول تحسين رسومات GTA 5 عن طريق تكييفها لتبدو وكأنها العالم الحقيقي. بعد ذلك ، سأغطي كيف يمكننا تحقيق نفس النتائج الواقعية للصور ، دون الحاجة إلى تقديم رسومات GTA عالية التفصيل في المقام الأول.

تتوفر مجموعات البيانات التي استخدمتها في هذا الرابط على صفحة مشروع المؤلف الأصلي.

بالنسبة للمهمة الأولى ، أخذت لقطات من اللعبة كنطاق مصدر لدينا والذي نريد تحويله إلى شيء واقعي بالصور. يأتي النطاق المستهدف من مجموعة بيانات مناظر المدينة التي تمثل العالم الحقيقي (الذي نهدف إلى جعله يشبه لعبتنا).

نتائج CycleGAN

استنادًا إلى حوالي ثلاثة أيام من التدريب لحوالي 100 حقبة ، يبدو أن نموذج Cyclegan يقوم بعمل رائع جدًا في تكييف GTA مع مجال العالم الحقيقي. يعجبني حقًا كيف لا تُفقد التفاصيل الأصغر في هذه الترجمة وتحتفظ الصورة بحدة حتى في هذه الدقة المنخفضة.

الجانب السلبي الرئيسي هو أن هذه الشبكة العصبية تحولت إلى مادي إلى حد ما: فهي تهلل شعار مرسيدس في كل مكان ، مما يؤدي إلى تدمير التحويل المثالي تقريبًا من GTA إلى العالم الحقيقي. (ذلك لأن مجموعة بيانات مناظر المدينة تم جمعها بواسطة مالك مرسيدس.)

كيفية تحقيق نفس الرسومات واقعية الصورة مع أقل جهد

في حين أن هذا النهج قد يبدو واعداً للغاية في تحسين رسومات اللعبة ، إلا أنني لا أعتقد أن الإمكانات الحقيقية تكمن في اتباع هذا الخط. أعني بذلك أنه من غير العملي تقديم مثل هذه الصورة المفصلة للغاية ثم تحويلها إلى شيء آخر.

ألن يكون من الأفضل توليف صورة بجودة متشابهة ولكن مع وقت وجهد أقل في تصميم اللعبة في المقام الأول؟ أعتقد أن الإمكانات الحقيقية تكمن في تقديم الكائنات بتفاصيل منخفضة وترك الشبكة العصبية توليف الصورة النهائية من هذا العرض.

لذلك ، استنادًا إلى العلامات الدلالية المتوفرة في مجموعة بيانات مناظر المدينة ، قمت بتقسيم الكائنات في لقطة شاشة من GTA مما يوفر لنا تمثيلًا لرسومات منخفضة التفاصيل. ضع في اعتبارك هذا بمثابة عرض لعبة لعدد قليل من الكائنات ، مثل الطريق والسيارة والمنازل والسماء وما إلى ذلك دون تصميمها بالتفصيل. سيكون هذا بمثابة الإدخال لنموذج نقل نمط الصورة لدينا بدلاً من لقطة شاشة مفصلة للغاية من اللعبة.

دعونا نرى نوعية الصور النهائية التي يمكن إنشاؤها من هذه الخرائط الدلالية التفصيلية المنخفضة باستخدام CycleGANs.

نتائج تركيب الصورة من الخرائط الدلالية

إعادة إنشاء مشاهد واقعية للواقع من الخرائط الدلالية لـ GTA 5.

فيما يلي بعض الأمثلة عن كيفية ظهورها عند إعادة إنشاء رسومات GTA من الخرائط الدلالية. لاحظ أنني لم أقم بإنشاء هذه الخرائط يدويًا. بدا ذلك شاقًا للغاية ، لذا فقد سمحت لنموذج CycleGAN آخر بالقيام بذلك (تم تدريبه على تنفيذ تجزئة الصور باستخدام مجموعة بيانات مناظر المدينة).

يبدو وكأنه تحويل جيد من بعيد ، ولكن بالنظر عن كثب من الواضح أن الصورة وهمية وتفتقر إلى أي نوع من التفاصيل.

الآن ، هذه النتائج هي 256p وقد تم إنشاؤها على GPU مع 8 غيغابايت من الذاكرة. ومع ذلك ، فقد أظهر مؤلفو الورقة الأصلية أنه من الممكن إنشاء صورة أكثر تفصيلاً 2048 × 1024 بكسل باستخدام وحدة معالجة الرسومات (GPU) مع أكثر من 24 جيجابايت من الذاكرة. يستخدم إصدار التعلم الخاضع للإشراف من CycleGAN ، يسمى pix2pixHD ، والذي تم تدريبه على أداء نفس المهمة. وصبي هل تبدو الصورة المزيفة مقنعة جداً!

إليك الفيديو الكامل الذي تم تحميله بواسطة مؤلفي هذه الورقة.

خاتمة

تمتلك شبكات GAN إمكانات كبيرة لتغيير كيفية إنتاج صناعة الترفيه للمحتوى. فهي قادرة على تحقيق نتائج أفضل بكثير من البشر وفي وقت أقل بكثير.

وينطبق الشيء نفسه على صناعة الألعاب كذلك. أنا متأكد من أنه خلال بضع سنوات ، سيحدث هذا ثورة في كيفية إنشاء رسومات اللعبة. سيكون من الأسهل بكثير محاكاة العالم الحقيقي بدلاً من إعادة إنشاء كل شيء من الصفر.

بمجرد أن نحقق ذلك ، سيكون طرح ألعاب جديدة أسرع أيضًا. أوقات مثيرة إلى الأمام مع هذه التطورات في التعلم العميق!

المزيد من النتائج في تنسيق الفيديو

يمكن العثور على جميع النتائج المذكورة أعلاه والمزيد على قناة YouTube وفي الفيديو المضمن أدناه. إذا كنت ترغب في ذلك ، فلا تتردد في الاشتراك في قناتي لمتابعة المزيد من عملي.

شكرا لقرائتك! إذا أعجبك هذا المقال ، فيرجى متابعتي على "متوسط" أو "جيثب" أو الاشتراك في قناتي على YouTube.