پروژه هوش مصنوعی ای که توسط شرکت OPENAL رونمایی شد به این صورت کار میکند که متن اهنگ به کمک محققان نوشته میشود و اهنگ ساخته میشود.
این پروژه اولین نمونه‌ی هوش مصنوعی تولیدکننده‌ی موسیقی است به همین خاطر ممکن هست خروجی‌های این پروژه از نظر اصول و کیفیت موسیقی چندان قابل قبول نباشد ولی، ازنظر فنی پیشرفت چشمگیری به‌شمار می‌رود. طبق گفته اوپن ای‌آی چون که موسیقی به طور خاصی با احساسات درگیر است برای همین درک آن برای هوش مصنوعی بسیار پیچیده و سخت خواهد بود. شاید عده ای از افراد این اهنگ ها را نپسندند اما این پروژه گام بزرگی است و تقریبا در هر آهنگ برخی آکورد‌ها کاملا درست و ریتم مناسبی برای هر اهنگ استفاده شده است.
این پروژه به این طریق اجرا شد که برای آموزش جوک‌باکس به‌جای استفاده از ملودی‌های نمادین آماده که در اصطلاح به آن پیانولا می‌گویند و فاقد کلام و آواز است، از آوازها و صداهای خام استفاده کرده‌اند تا این مدل هوش مصنوعی چگونگی تولید صدای خام را آموزش ببیند. محققان ابتدا شبکه عصبی طراحی میکنند سپس فشرده میکنند در اخر فایل تولید شده را (Upsmaple) میکنند سپس نوبت رمزگشایی میشود بعد از رمزگشایی، صدای خام جدید ایجاد میشود.
حالا شاید سوال شود آپسمپلینگ چیست؟ میتوان گفت یک فرایندی هست که در ان انبساط یا درون‌یابی پردازش نرخ نمونه‌برداری اتفاق میفتد. همچنین گاهی نمونه‌هایی با ارزش صفر در بین نمونه‌های اصلی اضافه میشود. این داده ها در فایل اصلی تاثیری نمیزارند.
شرکت OPENAL از همین رویکرد در ساخت آهنگ MuseNet نیز استفاده کرده بود. ولی در پروژه اخیر علاوه بر تولید موسیقی، در متن اهنگ نیز تغییرات ایجاد میکند. مدل جوک‌باکس برپایه‌ی ۱/۲ میلیون آهنگ مختلف آموزش داده شده که نیمی از آن‌ها به زبان انگلیسی است. همچنین متن شعرهای هر اهنگ را از لیریک‌ویکی (LyricWiki) استخراج کردند. برای اینکه کیفیت محصول را افزایش دهند اطلاعات مربوط به ژانرهای مختلف و هنرمندان نیز دردسترس هوش مصنوعی قرار دادند.
آن‌ها در پست وبلاگی خود نوشتند:
جوک‌باکس توانسته در عرضه کیفیت و یک دستگی محتوای موسیقی متفاوت عمل کند. البته باز شاهد تفاوت هایی بین موسیقی که ساخت بشر هست و موسیقی که توسط هوش مصنوعی ساخته شده روبه رو هستیم. به طور کلی میتوان گفت آهنگ‌های تولید‌شده‌ی هوش مصنوعی در زمینه انواع ملودی ها و تک نوای ها خوب عمل میکنند اما در گروه نوازی و تکرار نتوانستند گیرایی ایجاد کنند.
البته در این ازمایش مشکلاتی نیز رونمایان شد از قبیل فاجعه درزمینه‌ی کپی‌رایت و…در همین هفته نیز اتفاق جالب دیگری رقم خورد که خواننده‌ی آمریکایی، با استفاده از حق کپی‌رایت تلاش کرد صدای شبیه‌سازی‌شده‌ی خود با دیپ‌فیک را از یوتیوب حذف کند.
چری هو گفته است:
سوالی که هست ایا کانیه وست و کیتی پری و لوپه فیاسکو و وکلای آرتا فرانکلین و فرانک سیناترا و الویس پریسلی با شرکت OpenAI در ازمایش هوش مصنوعی همکاری خواهند کرد؟ احتمالا خیر
با همه مشکلات و دستاورد ها میتوان گفت جوک‌باکس دستاوردی شگفت‌انگیز است.