الگوریتم PonderNet دیپ‌مایند قبل از پاسخ‌گویی فکر می‌کند

شرکت دی‌مایند به تازگی از الگوریتم جدید به‌نام PonderNet رونمایی کرده که به شبکه‌های عصبی اجازه می‌دهد که یاد بگیرند قبل از پاسخ‌گویی به پرسش‌ها فکر کنند و بعد پاسخ دهند. رویکرد فوق توانایی شبکه‌های عصبی را برای پاسخ‌گویی به سوال‌ها را بهبود می‌بخشد و اجازه می‌دهد با اطمینان بیشتری نسبت به گذشته به پرسش‌های سخت پاسخ دهند.

این برنامه که توسط دانشمندان علوم کامپیوتر، آندره آ بانینو، یان بالاگر و چارلز بلاندل طراحی شده با هدف هم‌گرایی بیشتر شبکه‌های عصبی و بهینه‌سازی کارهایی که توسط کامپیوترها انجام می‌شود توسعه پیدا کرده است.

این الگوریتم هوشمند به‌طور کامل روی مبحث کارآیی محاسبات و افزایش دقت محاسبات متمرکز است. آن‌گونه که طراحی آن‌را توصیف کرده‌اند، PonderNet الگوریتم جدیدی است که یاد می‌گیرد توازنی میان پیچیدگی مشکلات و تعداد محاسباتی که باید انجام دهد ایجاد کند.

در ارتباط با این الگوریتم هوشمند، موضوع مهمی وجود دارد، به‌طوری که زمان مورد نیاز برای حل مشکلات و پاسخ‌گویی به پرسش‌ها تنها به ابعاد ورودی‌ها بستگی ندارد؛ بلکه پیچیدگی نیز اهمیت زیادی دارد.

علاوه بر این، مشکلی که بیشتر شبکه‌های عصبی امروزی دارند این است که میزان محاسبه مورد استفاده در شبکه‌های عصبی استاندارد متناسب یا پیچیدگی‌ آن‌ها نیست، بلکه متناسب با اندازه شبکه است. برای حل این مشکل، دیپ‌مایند در جدیدترین تحقیقی که انجام داده و خروجی آن‌ در قالب الگوریتم PonderNet منتشر شده قادر است بر اساس زمان محاسبه تطبیقی (Adaptive Computation Time) و دیگر ویژگی‌های شاخص شبکه‌های تطبیقی کار کند. PonderNet کاملا متغیر است و می‌توان از تخمین گرادیان با انحراف معیار کم به جای رویکرد توقیتی استفاده کند. این مهم به لطف تنظیم مجدد خز‌مشی توقف به عنوان یک مدل احتمالی به دست می‌آید. بر مبنای این تعریف مشاهده می‌کنیم که ،PonderNet الگوریتمی جدیدی در این زمینه است که قادر به تطابق پیچیدگی محاسباتی با توان عملیاتی است که به آن نیاز دارد. به بیان دقیق‌تر، متناسب با محاسباتی که نیاز دارد از منابع استفاده می‌کند.

الگوریتم فوق چگونه کار می‌کند؟

آن‌گونه که دیپ‌مایند به آن اشاره کرده، PonderNet اگر متوجه شود که برای حس مشکلی نیازی به پردازش‌های سنگین نیست، سعی می‌کند با کمترین میزان محاسبه پاسخی برای مشکل پیدا کند و اگر احساس کند برای پاسخ‌گویی دقیق‌تر به یک چالش سخت به محاسبات سنگینی نیاز است، سعی می‌کند بهینه‌ترین پاسخ را ارایه کند.

بانینو و همکارانش بر اساس پژوهش‌هایی که توسط محققان در سال‌های گذشته پیرامون مباحثی نظیر محاسبه شرطی انجام شده این الگوریتم را طراحی کرده‌اند. هرچند نباید از نقش مستقیم و تاثیرگذار الکس گریوز یکی از همکاران گول در این پروژه غافل شد. گریوز سابقه‌ای درخشان در زمینه  تحقیقات راهبردی در ارتباط با طراحی شبکه‌های عصبی و تعامل بهتر آن‌ها با کامپیوترها دارد. به عنوان مثال، او و همکارانش چند سال قبل موفق به طراحی یک شبکه عصبی بر مبنای تئوری "ماشین تورینگ عصبی" شدند.

در مورد الگوریتم PonderNet ، بانینو و تیمش روی پروژه‌ای که گریوز در سال 2016 روی آن کار می‌کرد و به‌نام زمان محاسبه سازگار نامیده می‌شود، کار کردند. پروژه‌ای که بر مبنای شکل‌گیری آن به این صورت بود که در قلمرو استدلال بشر، در بیشتر موارد میان مسئله و حل مسئله تقارنی وجود ندارد. به‌طور مثال، ممکن است گاهی برای بیان یک مشکل تلاش بسیار کمی لازم باشد، اما برای کشف آن زمان زیادی لازم باشد. به عنوان مثال، جمع کردن دو عدد به مراتب ساده‌تر از تقسیم آن‌ها است، اگرچه نمادی که استفاده می‌شود تقریبا یکسان به نظر می‌رسد.

گریوز توانست راهکاری در اختیار کامپیوتر قرار دهد تا محاسبه کند که با توجه به پیچیدگی یک مسئله چه مدت باید در مورد مشکل فکر کند تا به پاسخ برسد. به‌طوری که گاهی اوقات چند لایه از یک شبکه عصبی برای انجام محاسبه کافی است. گریوز می‌گوید: «یک برنامه شبکه عصبی یک ماشین تحول‌آفرین است، زیرا به‌طور خودکار راهی برای تبدیل ورودی به خروجی پیدا می‌کند. تعداد لایه‌های سلول‌های عصبی مصنوعی که اطلاعات باید از طریق آن‌ها عبور داده شود تا با موفقیت به یک خروجی دقیق تبدیل شود یکی از روش‌های اندازه‌گیری تلاش برای انجام محاسبه است.»

کلام آخر

در شبکه‌های عصبی استاندارد تعداد محاسبات با ابعاد ورودی‌ها مرتبط است و به عبارت دقیق‌تر هیچ‌گونه تلاشی باری کشف پیچیدگی مسئله‌ها انجام نمی‌شود. کاری که الگوریتم PonderNet دیپ‌مایند گوگل انجام می‌دهد این است که مقدار محاسبات موردنیاز را با پیچیدگی مسئله تلفیق می‌کند. PonderNet تعداد گام‌های محاسباتی را برای دستیابی به موثرترین راه‌حل بر مبنای آموزش‌های قبلی و دانشی که به دست آورده انجام می‌دهد.