مایکروسافت در نسخه جدید مدل DeBERTa امکان انجام کارهای بیشتر و با سرعت بیشتر را فراهم کرده است که این کار از طریق یاددهی به 1.5 میلیارد پارامتر بوده است.
هوش مصنوعی در طی سال های گذشته سبب پیشرفت در خیلی از حوزه ها شده است که این کار از طریق آموزش میلیاردها پارامتر اتفاق اتفاده است. مایکروسافت هم در مدل هوش مصنوعی خود DeBERTa، با یاددهی به یک نسخه بزرگتر با 48 لایه ترنسفورمر و 1.5 میلیارد پارامتر به روزرسانی شده است. همین بهبود عملکرد DeBERTa باعث شده است که سرعت پردازش آن در زبان SUPERGLUE از انسان بیشتر شود. بر این اساس DeBERTa در آزمایشی که انجام شد امتیاز 89.9 را به دست آورد در حالیکه انسان موفق شد امتیاز خود را 89.8 برساند. این در حالی است که با در نظر گرفتن امتیاز های پایه این تفاوت بیشتر هم می شود. (۹۰٫۳ در برابر ۸۹٫۸).
بنچمارک SUPERGLUE شامل وظایف متنوع مبتنی بر پردازش زبان طبیعی (NLP) است که مواردی همچون پاسخ به سوال و نتیجه گیری را شامل می شود. در رتبه بندی بنچمارک های SUPERGLUE، DeBERTa متعلق به مایکروسافت موفق شد متوسط نمره کلان 90.8 را به دست آورد. براساس گزارش MSPoweruser، مدل DeBERTa که مایکروسافت توسعه داده است می‌تواند با استفاده از سه تکنیک نوین، PLMهای پیشین نظیر BERT،اRoBERTa و UniLM را بهبود ببخشد. یکی از این تکنیک ها، مکانیسم دقت منظم شده (Disentangled Attention) نام دارد و تکنیک دوم در حقیقت نسخه‌ی بهبود یافته‌ی ابزار Mask Decoder محسوب می‌شود. مایکروسافت همچنین در مدل DeBERTa به نوعی تعلیمِ رقابتی مجازی برای بهینه‌سازی مدل اشاره می‌کند.
در مقایسه با مدل T5گوگل که از 11 میلیارد پارامتر تشکیل شده این مدل که 1.5 میلیارد پارامتر دارد، خیلی انرژی کمتری مصرف می کند و فشرده سازی اپلیکشین ها با تنظیمات مختلف انجام می شود. در هر صورت باید به این نکته باز هم اشاره کرد که موفقیت DeBERTa در بنچمارک SuperGLUE یک دستاورد بزرگ محسوب می شود.
با وجود عملکرد خوب مدل مایکروسافت باید به این نکته اذعان کرد که هوش انسان در درک زبان طبیعی خیلی بهتر از این مدل کار می کند و ذهن انسان در حوزه یادگیری از دانش از وظایف مختلف و برای حل کردن وظایف جدید خیلی از مدل های هوش مصنوعی ساخته بشر قوی تر عمل می کند.
تصمیم جدید مایکروسافت بر این است که این تکنولوژی جدید را با نسخه جدید مدل بازنمایی زبان طبیعی Microsoft Turing ترکیب نماید. یکی از شرکت هایی که از این مدل بهره می برد شرکت ردموندی است که از این مدل در Bing،اOffice،اDynamics و Azure Cognitive Services برای ایجاد امکان انواع کارها نظیر تعاملات انسان-انسان و تعاملات انسان-دستگاه بهره می گیرد. خبر دیگر اینکه مایکروسافت بنا دارد که پارامترهای 1.5 میلیاردی مدل DeBERTa را همراه با کدهای منبع آن در اختیار عموم قرار دهد.