چگونه شبکه‌های عمیق عصبی، یادگیری عمیق و سیستم‌های خبره به دنیای هوش مصنوعی وارد شدند؟

به‌طور کلی، عصر طلایی هوش مصنوعی با رخدادهای جالب توجه زیادی همراه بود. برخی از درخشان‌ترین دانشگاه‌های جهان سعی کردند ماشین‌هایی طراحی کنند که به معنای واقعی کلمه فکر کنند. اما این خوش‌بینی‌ها غالباً افراط‌گرایانه بودند. در سال 1965، سایمون گفت که در عرض 20 سال، یک ماشین می‌تواند هر کاری را که انسان می‌تواند انجام دهد را انجام دهد. در ادامه در سال 1970 در مصاحبه‌ای با مجله Life گفت كه این اتفاق تنها 3 تا 8 سال دیگر رخ خواهد داد (بد نیست بدانید که او مشاور فیلم 2001: یك ادیسه فضایی بود).

متأسفانه‌، هوش مصنوعی به سرعت از عصر طلایی خود وارد مرحله کاملا تاریکی شد و برخی از دانشگاه‌ها نسبت به هوش مصنوعی و ظرفیت‌های آن بدبین شدند. شاید بزرگ‌ترین انتقاد در این زمینه را هوبرت دریفوس، فیلسوف معروف مطرح کرد. وی در کتاب‌ "آن‌چه هنوز کامپیوترها نمی‌توانند انجام دهند: نقدی بر هوش مصنوعی" 8 فرضیه خود مبنی بر اینرکه کامپیوترها با مغز انسان شباهت ندارند و هوش مصنوعی این ظرفیت را ندارد تا بتواند به انتظارات جوامع بشری پاسخ دهد مطرح کرد.

برنده هوش مصنوعی

اوایل دهه 70 میلادی از شدت علاقه به هوش مصنوعی کاسته شد. به‌طوری که برخی این دوره را زمستان هوش مصنوعی توصیف کردند که تا 80 میلادی ادامه پیدا کرد. حتی اگر پیشرفت‌های زیادی در حوزه هوش مصنوعی انجام شده بود، بخش عمده‌ای از آن‌ها دانشگاهی بودند و طراحی‌ها عمدتا در محیط‌های کنترل شده انجام شده بودند. در آن زمان، سیستمرهای کامپیوتری توانایی سخت‌افزاری محدودی داشتند. به‌طور مثال، یک DEC PDP-11/45 که برای تحقیقات هوش مصنوعی استفاده می‌شد در ارتباط با گسترش‌پذیری حافظه به 128 کیلوبایت محدود بود. زبان Lisp نیز برای سیستم‌های رایانه‌ای ایده‌آل نبود. در مقابل، در دنیای کسبو‌کارهای خصوصی، شرکت‌ها بیشتر تمرکز روی زبان برنامه‌نویسی فورترن (FORTRAN) متمرکز شده بودند. در کنار این محدودیت‌های سخت‌افزاری، هنوز جنبه‌های پیچیده بسیاری در درک هوش و استدلال وجود داشت. یکی از این موارد ابهام‌زدایی بود. به‌طور مثال، در اغلب موارد یک واژه بیش از یک معنی دارد. این مسئله دشواری طراحی برنامه‌های هوشمند را دوچندان می‌کرد، زیرا الگوریتم‌های هوشمند باید کاربرد و معنای واژه‌ها در هر جمله را درک می‌کردند.

در ادامه، فضای اقتصادی در دهه 70 متلاطم بود. تورم مداوم، رشد آهسته اقتصادی و نوسانات شدیدی که به واسطه بحران نفت به وجود می‌آمد مشکلات را دوچندان می‌کرد. با توجه به مشکلات این چنینی، جای تعجب نیست که دولت آمریکا با سخت‌گیری بیشتری بودجه مربوط به تحقیقات در زمینه هوش مصنوعی را تصویب می‌کرد. از این گذشته، برای یک برنامه‌ریز پنتاگون، برنامه ای که می‌توانست شطرنج‌بازی کند، قضیه‌ای را حل کند یا برخی از تصاویر اساسی را تشخیص دهد، چقدر جذاب بود؟ متاسفانه علاقه به یک چنین موضوعاتی بیشتر از جانب شرکت‌ها مشاهده می‌‌شد.

یک پژوهش مهم و تاثیرگذار در ارتباط با ساخت برنامه پردازش گفتار توسط دانشگاه کارنگی ملون انجام شد. آژانس پروژه‌های تحقیقاتی پیشرفته دفاعی دارپا (DARPA) بر این باور بود که سیستم تشخیص گفتار می‌تواند توسط خلبانان جنگنده برای ارسال دستورات صوتی برای مغز هوشمند جنگنده استفاده شود. اما ثابت شد که این نظریه قابل اجرا نیست. یکی از برنامه‌های ساخته شده در این زمینه Harpy نام داشت که قادر بود 1011 کلمه را درک کند، کاری که مغز یک کودک 3 ساله عادی نیز قادر به انجام آن است.

مقامات دارپا در واقع تصور می‌کردند، پژوهشگران در این زمینه کم کاری کرده‌اند و بر همین اساس بودجه سالانه 3 میلیون دلاری ساخت این برنامه را قطع کردند. اما بیشترین ضربه به هوش مصنوعی از طریق گزارشی بود که سال 1973 توسط پروفسور سر جیمز لایت‌هیل در ارتباط با رد اهداف بزرگ هوش مصنوعی قوی منتشر کرد و باعث شد بودجه‌ای که توسط پارلمان انگلستان تأمین می‌شد، قطع شود. مسئله مهمی که وی به آن اشاره کرد انفجار ترکیبی (combinatorial explosion) بود. این مشکل به واسطه پیچیدگی بیش از اندازه مدل‌ها بود که باعث شده بود تنظیم و پیکربندی آن‌ها کار بسیار مشکلی شود. در پایان این گزارش لایت‌هیل به این نکته اشاره کرد: «در هیچ بخشی از این حوزه، تاكنون اكتشاف تأثیرگذار مهمی كه وعده داده شده مشاهده نشد.»

این گزارش باعث شد تا بحث‌های عمومی گسترده‌ای توسط رسانه‌هایی نظیر بی‌بی‌سی به راه بیافتد جالب آن‌که لایت‌هیل با انتقادات خود به دستاوردهای هوش مصنوعی درست در نقطه مقابل دونالد میشی، ریچارد گریگوری و جان مک کارتی قرار داشت. حتی اگر لایت‌هیل به نکات ارزشمندی اشاره کرده بود و تحقیقات زیادی را ارزیابی کرده بود، اما قدرت هوش مصنوعی ضعیف را به خوبی مشاهده نکرده بود. هرچند با شروع زمستان هوش مصنوعی، دیدگاه‌های مثبت یا منفی تاثیرگذاری زیادی در این زمینه نداشتند.

اوضاع به اندازه‌ای بحرانی شد که بسیاری از محققان فعال در حوزه هوش مصنوعی مسیر شغلی خود را تغییر دادند. با این‌حال، افرادی که در این برهه زمانی بازهم روی هوش مصنوعی متمرکز شده بود، شغل خود را با عناوینی نظیر یادگیری ماشین، شناخت الگو و انفورماتیک توصیف می‌کردند.

ظهور و سقوط سیستم‌های خبره

حتی در زمستان هوش مصنوعی نیز نوآوری‌های عمده‌ای ظهور کردند. یکی از آن‌ها به نوعی تبلیغ مفاهیم قدیمی بود و بر تخصیص وزن به شبکه‌های عصبی استوار شده بود. در ادامه فرآیند توسعه مختلفی در ارتباط با شبکه‌های عصبی بازگشتی (RNN) سرنام recurrent neural network  به وجود آمد. این شبکه‌ها اجازه می‌دهند تا ارتباطات از طریق لایه‌های ورودی و خروجی برقرار شوند. با این‌حال در دهه 1980 و 1990 سیستم‌های خبره از راه رسیدند. عامل اصلی پیدایش چنین سامانه‌هایی رشد انفجاری رایانه‌های شخصی و مینی کامپیوترها بود.

سیستم‌های خبره مبتنی بر مفاهیم منطق نمادین که توسط مینسکی ارائه شده بودند بر پیاده‌سازی مسیرهای کاملا پیچیده استوار بودند. این سامانه‌های پیچیده عمدتا توسط متخصصان حوزه‌های تخصصی (تعامل متخصصان حوزه‌های خاص با متخصصان حوزه هوش مصنوعی) نظیر پزشکی، مالی و ساخت خودرو توسعه داده شدند. شکل زیر بخش‌های اصلی یک سیستم خبره را نشان می‌دهد.

در حالی که سیستم‌های خبره‌ای وجود دارند که قدمت برخی از آن‌ها به دهه 60 میلادی باز می‌گردد، اما تا دهه 1980 به شکل تجاری از آن‌ها استفاده نشد. به‌طور مثال XCON که جان مک درموت در دانشگاه کارنگی ملون نمونه‌ای از این سامانه‌ها بود. سیستمی که او طراحی کرد یک برنامه کامپیوتری بود که امکان بهینه‌سازی انتخاب میان مولفه‌های کامپیوتری را ارائه می‌کرد و در ابتدا محدود به 2500 قانون بود. این سامانه به عنوان‌ اولین موتور پیشنهاد‌ دهنده شناخته می‌شود. از زمان آغاز به کار این سامانه در دهه 80 میلادی، مشخص شد که سامانه طراحی شده توسط آقای درموت برای خط تولید کامپیوترهای VAX (تقریباً 40 میلیون دلار تا سال 1986) برای DEC صرفه‌جویی اقتصادی به همراه داشته است.

وقتی شرکت‌ها عملکرد خیره‌کننده XCON را مشاهده کردند به یکباره تصمیم گرفتن به سراغ سیستم‌های خبره بروند و به یکباره بازار ساخت سیستم‌های خبره به یک صنعت میلیارد دلاری تبدیل شد. دولت ژاپن نیز این فرصت را مغتنم دید و سرمایه‌گذاری‌های سنگینی در جهت تقویت بازار داخلی خود تخصیص داد. با این حال‌، در بیشتر موارد نتایج ناامید کننده بودند و جالب آن‌که بخش اعظمی از موفقیت‌ها ماحصل نوآوری‌هایی بود که متخصصان امریکایی ارائه کرده بودند.  بیشتر نوآوری ها در ایالات متحده بود. آی‌بی‌ام از شرکت‌های بزرگ امریکایی بود که از یک سیستم خبره برای کامپیوتر دیپ بلو استفاده می‌کرد. دیپ بلو در سال 1996 استاد بزرگ شطرنج گری کاسپاروف را در یکی از شش مسابقه شکست داد. دیپ بلو که آی‌بی‌ام از سال 1985 در حال توسعه آن بود، 200 میلیون حالت در ثانیه را پردازش کرد.

اما سیستم‌های خبره با مشکلاتی همراه بودند. کارایی آن‌ها محدود بود و به سختی این امکان فراهم بود که آن‌ها را در زیرشاخه‌های مرتبط با هوش مصنوعی طبقه‌بندی کرد. علاوه بر این، با بزرگرتر شدن سیستم‌های خبره، مدیریت آن‌ها و تامین خوارک آن‌ها (feed) که داده‌ها بود به یک بحث چالش‌برانگیزتر تبدیل شده بود. نتیجه این شد که اشتباهات بیشتری در نتایج به وجود آمد. دومین مشکل این سامانه‌ها در ارتباط با آزمایش بود. آزمون‌هایی که برای سیستم‌های خبره انجام می‌شود اغلب مبتنی بر یک فرآیند پیچیده هستند. علاوه بر این، گاهی اوقات کارشناسان در مورد برخی مسائل اختلاف نظر داشتند. ترکیب عوامل این چنینی باعث شدند تا روند یادگیری سیستم‌های خبره با کندی زیادی همراه شود. علاوه بر این، مدل‌های منطقی باید به‌طور مداوم به‌روزرسانی می‌شدند که این فرآیند به شدت هزینه‌بر بود و پیچیدگی‌های زیاد خاص خود را داشت. در اواخر دهه 80 میلادی، سیستم‌های خبره با دنیای تجارت خداحافظی کردند و بسیاری از استارت‌آپ‌های فعال در این زمینه با یکدیگر ادغام یا کاملا از میان رفتند. این اتقاق باعث شد تا زمستان دیگری برای هوش مصنوعی به وجود آید که تا اواسط سال 1993 ادامه پیدا کرد. در این سال بود که رایانه‌های شخصی به سرعت توانستند در قالب ماشین‌هایی که مجهز به سخت‌افزارهای گران‌قیمت بودند به شکل فراگیر در اختیار مردم قرار بگیرند که این رویکرد به معنای کاهش شدید تقاضا برای ماشین‌های مبتنی بر لیسپ بود. بودجه دولتی که دارپا برای هوش مصنوعی تعیین کرده بود با کاهش شدیدی همراه شد، زیرا جنگ سرد با سقوط اتحاد جماهیر شوروی به سرعت در حال پایان یافتن بود و نهادهای دولتی دیگر اشتیاق خاصی برای دنبال کردن پروژه‌های هوشمند نداشتند.

شبکه‌های عصبی و یادگیری عمیق

جفری هینتون در نوجوانی در دهه 1950 میلادی دوست داشت تا استاد دانشگاه شود و در رشته هوش مصنوعی تحصیل کند. وی از خانواده‌ای فرهیخته و شناخته شده بود.  حتا در اولین زمستان هوش مصنوعی‌، هینتون علاقه زیادی به هوش مصنوعی داشت و متقاعد شد که روشی که شبکه عصبی روزنبلات بر مبنای آن کار می‌کند، کاملا صحیح است. بنابراین در سال 1972، دکترای خود را بر مبنای همین موضوع از دانشگاه ادینبورگ دریافت کرد. با این‌حال، در این دوره، بسیاری تصور می‌کردند که هینتون وقت و استعداد خود را تلف می‌کند. هوش مصنوعی اساساً یک موضوع حاشیه‌ای محسوب می‌شد و حتا به عنوان یک علم مدرن نیز به آن اهمیتی داده نمی‌شد. اما هینتون انگیزه خود را از دست نداد. هینتون فهمید که بزرگ‌ترین مانع در برابر هوش مصنوعی توان کامپیوترها است، اما به خوبی متوجه این نکته شد که زمان با او یار است. در آن زمان قانون مور پیش‌بینی کرد که تعداد مولفه‌های موجود در یک تراشه هر 18 ماه دو برابر شود.

در این میان، هینتون به‌طور خستگی‌ناپذیری روی توسعه نظریه‌های اصلی شبکه‌های عصبی کار کرد، به‌طوری که در نهایت مفهومی به‌نام یادگیری عمیق شکل گرفت. در سال 1986 وی - به همراه دیوید رومل هارت و رونالد جی ویلیامز - مقاله‌ نوآورانه‌ای به‌نام "یادگیری بازنمایی با خطاهای انتشار مجدد" نوشتند و در آن مقاله به چهار فرآیند کلیدی که در پس‌زمینه شبکه‌های عصبی به کار گرفته می‌شوند اشاره کردند. فرآیند‌هایی که اجازه می‌دهند شبکه‌های عصبی بدون مشکل کار کنند. ماحصل تحقیقات آن‌ها باعث شد تا عملکرد شبکه‌های عصبی، بهبود قابل توجهی پیدا کند، دقیق‌تر شوند، به شکل بهینه‌تری پیش‌بینی کنند و قابلیت تشخیص بصری آن‌ها ارتقا پیدا کند.

البته این دستاورد ماحصل تلاش‌های انفرادی هینتون نبود. بخش عمده‌ای از فعالیت‌های او بر مبنای دستاوردهای محققان دیگری بود که به شکل موازی روی شبکه‌های عصبی کار می‌کردند. از مهم‌ترین این دستاوردها به موارد زیر می‌توان اشاره کرد:

•‌کونیکو فوکوشیما در سال 1980 موفق به ساخت  Neocognitronشد كه سیستمی برای شناخت الگوهایی بود كه اساس شبكه‌های عصبی پیچشی  بر مبنای آن کار می‌کردند. این سیستم بر مبنای قشر بینایی حیوانات پیاده‌سازی شده بود.

• جان هاپفیلد در سال 1982 موفق شد شبکه هاپفیلد را توسعه داد. این شبکه نیز اساساً یک شبکه عصبی بازگشتی بود.

• ‌یان لکون در سال 1989 موفق شد شبکه‌های کانولوشن را با تئوری پس انتشار (backpropagation) ادغام کند.

• کریستوفر واتکینز پایان‌نامه دکترای خود را به مبحث "یادگیری از طریق پاداش تأخیری" که بعدها به‌نام Q-Learning معروف شد ارائه کرد. دستاورد او پیشرفت بزرگی در حوزیه یادگیری تقویت بود.

•یان لکون در سال 1998  مقاله "یادگیری مبتنی بر گرادیان اعمال شده در شناسایی اسناد" را منتشر کرد و نشان داد که چگونه باید از الگوریتم‌های تنزل برای بهبود شبکه‌های عصبی استفاده کرد.