مایکروسافت موفق به طراحی ارزیابی درک زبان طبیعی در هوش مصنوعی شد و با رویکردی جدید مدل زبان را بهبود بخشید.
درک زبان طبیعی یا به اختصار NLU یکی از مهمترین اهداف هوش مصنوعی است. جستجوی هوش مصنوعی برای درک زبان طبیعی به دهه 1950 برمی گردد ، زمانی که از آزمون تورینگ برای ارزیابی هوش یک عامل هوشمند استفاده شد. آزمون تورینگ یکی از رایج ترین روش های ارزیابی هوش مصنوعی است. در سالهای اخیر ، نتایج بسیار امیدوارکننده ای از تکالیف درک زبان طبیعی در پروژه های تحقیقاتی در دانشگاهها و همچنین در صنعت مشاهده شده است ، زیرا نتایج پیشرفتهای یادگیری عمیق در مطالعات درک زبان طبیعی مانند زبان ERT اعمال شده است. مدل. توسعه یافته توسط گوگل در سال 2018.
ارزیابی عمومی درک زبان ، که به اختصار GLUE نامیده می شود ، یک معیار شناخته شده است که شامل نه وظیفه درک زبان طبیعی است. این نه وظیفه زبانی شامل پرسش و پاسخ ، تجزیه و تحلیل احساسات ، شباهت متنی و مفاهیم متنی است که برای ارزیابی تعمیم و استحکام مدلهای درک زبان طبیعی طراحی شده اند. از زمان انتشار در اوایل سال 2018 ، بسیاری از مدلهای پیشرفته (سابق) درک زبان طبیعی ، مانند ERT ، GPT ، Stanford Snorkel و MT-DNN ، مطابق جدول طبقه بندی GLUE معیار قرار گرفته اند. برترین تیم های تحقیقاتی جهان برای توسعه مدل های جدید بسیار نزدیک به عملکرد درک زبان انسانی در GLUE همکاری می کنند.
طی چند ماه گذشته ، مایکروسافت به طور قابل ملاحظه ای روش MT-DNN خود را در زمینه درک زبان طبیعی بهبود بخشیده و از عملکرد کلی درک GLUE در ژوئن 2019 با نمره متوسط 87.6 در مقابل 87.1 پیشی گرفته است. . نتیجه روش MT-DNN به طور قابل توجهی حتی بهتر از روش دوم با نمره (86.3) در جدول طبقه بندی است.
تابلوی امتیازات مایکروسافت
موفقیت رویکرد MT-DNN در درجه اول به دلیل ترکیب روش جدیدی به نام Vinograd Natural Language Interface Assignment (WNLI) است که در آن هوش مصنوعی باید بتواند ضمایر مبهم در جملات را به درستی تشخیص دهد و مشخص کند که چه اسامی را باید ارجاع دهد. به در ضمایر بازگشت های خاص در جمله
به عنوان مثال ، در این تخصیص زبان ، یک جمله به هوش مصنوعی داده می شود:
شورای شهر به تظاهرکنندگان اجازه تظاهرات نداد زیرا از خشونت [ترسیدند / حمایت کردند].
اگر کلمه “ترس” انتخاب شده باشد ، وجدان آنها به شورای شهر برمی گردد و اگر کلمه “پشتیبانی” انتخاب شده باشد ، ضمیر به کلمه تظاهرکنندگان اشاره می کند.
انسانها بر اساس مهارتهای زبانی خود و با توجه به دانش جهانی خود چنین وظایفی را به صورت شهودی انجام می دهند ، اما انجام چنین وظایفی برای دستگاه بسیار دشوار است.
این وظیفه زبان به عنوان یکی از چالش برانگیزترین کارها در GLUE ثبت شده است ، تا آنجا که مدلهای قبلی یادگیری ماشین مانند ERT به سختی با اکثریت آرا بهتر از سطح ابتدایی عمل کرده اند (امتیاز 65.1).
اگرچه نسخه های اولیه MT-DNN (که توسط لیو و همکارانش در مقاله ای در سال 2019 ثبت شده است) در حال حاضر نمره بهتری نسبت به انسان دارند ، اما در چندین وظیفه زبانی مانند MRPC ، QQP و QNI بسیار بدتر عمل می کنند. انسانها دارای یک زبان WNLI بودند ، بنابراین هوش مصنوعی توانست 65.1 در مقابل 95.9 امتیاز کسب کند. بنابراین ، محققان به طور کلی معتقدند که بهبود نمرات آزمون در تخصیص زبان WNLI برای دستیابی به عملکرد درک زبان انسانی بر اساس نمره کلی در GLUE بسیار مهم است. تیم تحقیقاتی مایکروسافت راهی برای بهبود حل کار WNLI برای هوش مصنوعی به روشی مبتنی بر مدل یادگیری عمیق جدید ارائه کرده است. این مدل با محاسبه شباهت معنایی بین ضمایر و مراجع پیشنهادی در قاب ، میزان وضوح ضمایر را مشخص می کند. با استفاده از این روش ، نمره نهایی آزمایش در خودرو به 89.0 رسید. نمره آزمون ، همراه با بهبود بخشهای دیگر ، به طور کلی به 87.6 رسید و توانست عملکرد درک زبان انسانی در GLUE را که نقطه عطفی در دستیابی به هدف درک زبان طبیعی در دستگاه است ، پشت سر بگذارد.