آریا جوان - شرکت Flawless از فناوری دیپ‌فیک برای همگام‌سازی لب‌های بازیگران با زبان دوبله مقصد استفاده می‌کند.

سالانه فیلم‌هایی بسیار زیادی در سراسر جهان تولید می‌شوند که گاهی از میان آن‌ها آثار بی‌نظیری به دنیای سینما وارد می‌شوند که توجه همه دوستداران هنر را به خود جلب می‌کنند؛ اما زبان‌های خارجی زیادی وجود دارند که تعداد کمی از انسان‌ها به آن‌ها مسلط هستند و به همین دلیل، زیرنویس و دوبله وارد عمل می‌شوند. به گزارش گیزمودو، در این میان، عده‌ای هستند که زیرنویس را یکی از عوامل حواس‌پرتی هنگام تماشای فیلم می‌دانند و به همین دلیل، به سمت آثار دوبله می‌روند تا بتوانند با خیال راحت و تمرکز بالا آن را نگاه کنند؛ اما دوبله نیز می‌تواند باعث حواس‌پرتی شود. هنگامی که حرکات لب یک بازیگر کاملاً با آنچه می‌گوید هماهنگ نباشد، چنین مشکلی پیش می‌آید؛ بنابراین شرکتی به نام Flawless یک راه‌ حل مبتنی بر هوش مصنوعی خلق کرده است که می‌تواند این مسئله را حل کند. در این روش، عملکرد چهره یک بازیگر با نمونه‌ای که با زبان مقصد تطابق دارد جایگزین می‌شود تا حرکات لب کاملا شبیه حالتی باشند که کلمات در آن زبان بیان می‌شوند. در ادامه ویدئویی را که Flawless از این فناوری منتشر کرده است مشاهده می‌کنید:

دلایل بسیار خوبی برای نگرانی در مورد استفاده از هوش مصنوعی و ابزارهای شبکه عصبی برای دست‌کاری عکس‌ها و ویدئوها وجود دارد. این فناوری به قدری قدرتمند است که می‌توان به کمک آن موقعیت‌هایی ایجاد کرد که واقعاً اتفاق نیفتاده‌اند یا ویدئویی از سخنرانی شخصیتی معروف درست کرد که حتی یک کلمه از حرف‌های گفته‌شده صحیح نباشد. برای مثال مدتی پیش دیپ‌فیک شخصیت‌هایی مانند باراک اوباما، تام کروز و دونالد ترامپ در فضای مجازی منتشر شد که توجه افرادی بسیاری را به خود جلب کرد؛ اما این ابراز دارای پتانسیل هیجان‌انگیزی برای مصارف دیگر است. برای مثال با استفاده از دیپ فیک می‌توان هزینه ساخت فیلم‌ها را کاهش داد. نگرانی‌های کنونی مانند زمانی است که گرافیک رایانه پیشرفت کرد و به لطف آن فیلم‌هایی مانند نابودگر 2 و پارک ژوراسیک ساخته شد. این فناوری جدید جلوه‌های بصری واقع‌بینانه‌ای به مخاطبان نشان داد که تابه‌حال ندیده بودند و همین مسئله باعث شد علاوه‌ بر هیجان‌زده شدن، نگران شوند؛ اما پیشرفت به همین‌جا ختم نشد و تا جایی ادامه پیدا کرد که اکنون هر فرد آماتوری می‌تواند در خانه خود، با داشتن یک تلفن هوشمند و یک لپ‌تاپ، بدون نیاز به بودجه بالا، جلوه‌های ویژه‌ای در سطح هالیوود خلق کند. می‌توانید همین حالا با جستجو در یوتیوب بعضی از نمونه‌های تولیدشده توسط افراد مختلف را مشاهده کنید. استفاده از این ابزارها نیز به لطف پیشرفت‌های مداوم در پردازش تصویر با استفاده از هوش مصنوعی، آسان‌تر شده است. پاک کردن اشیاء در یک ویدئو کلیپ، زمانی یک فرایند بسیار وقت‌گیر بود که نیاز به کارهای پیچیده و تنظیمات فریم به فریم داشت؛ اما اکنون حذف این موارد یک ویژگی استاندارد و خودکار در ادوبی افتر افکت است.

دیپ فیک چیست؛ وقتی مرزی بین حقیقت و دروغ باقی نمی‌ماند تشخیص ویدئوهای دیپ فیک سخت‌تر شد
اما باید به یک مسئله اشاره کرد. درست است که این فناوری می‌تواند لب‌های بازیگر را کاملا با جملاتی به زبان دیگر هماهنگ کند؛ اما انگار مشکلی در نتیجه آن وجود دارد که باعث می‌شود تصویر نهایی کمی مصنوعی به نظر برسد. فیلم‌های خروجی مانند اجراهای اولیه طبیعی به نظر نمی‌رسند که احتمالا دلیلش این است که فناوری پشت TrueSync هنوز در مراحل ابتدایی خود قرار دارد. حتی شرکت‌هایی مانند دیزنی نیز در تلاش هستند کیفیت دیپ فیک را ارتقا بدهند تا بتوانند کیفیت آثار خود را بهتر کنند. سؤال بزرگ‌تر این است که آیا راه‌ حل جدید Flawless بیشتر حواس مخاطب را نسبت به دوبله و زیرنویس پرت نمی‌کند؟ باید این موارد بررسی شوند. در نهایت باید محاسبه شود آیا زحمتی که برای دوباره طراحی کردن لب‌های بازیگران برای هر فیلم کشیده می‌شود، منطقی و ضروری است؟ نظر شما همراهان زومیت درباره ابزار TrueSync و نتیجه نهایی آن چیست؟ به نظر شما انجام چنین کاری برای همگام‌سازی لب‌های بازیگران با دوبله لازم است؟