کنترل سطح انسانی از طریق یادگیری تقویتی عمیق

تئوری یادگیری تقویت کننده یک حساب اصولی را ارائه می­دهد که بطور عمیق در رویکردهای روانشناختی و عصب­شناختی موجود در رفتار حیوانات ریشه دارد و این که عوامل چگونه می توانند محیط خود را بهینه کنترل کنند. با این حال، یادگیری تقویتی به سرعت به پیچیدگی­های دنیای واقعی نزدیک شده و عوامل با یک کار دشوار روبرو می‌شوند: آن‌ها باید نمایش‌های موثر در محیط را از ورودی‌های حسی با ابعاد بالا به دست آورند و از این ورودی­ها برای تعمیم روی آزمایشات گذشته، استفاده کنند. به طور قابل‌توجهی، انسان‌ها و دیگر حیوانات این مشکل را از طریق ترکیب هماهنگی بین یادگیری تقویتی و سیستم‌های پردازش حسی بصورت سلسله مراتبی حل می‌کنند، نتایج بدست‌آمده با استفاده از داده‌های عصبی نشان می‌دهد که اطلاعات مربوط به سیگنال‌های مغزی ارائه‌شده توسط نورون‌های dopaminergic و الگوریتم های یادگیری تقویتی زمانی، قادر به موازی سازی نیستند. در حالی که عوامل یادگیری تقویتی به موفقیت‌هایی در زمینه‌های مختلف دست یافته‌اند، اما کاربردپذیری آن‌ها قبلا محدود به حوزه‌هایی بوده‌است که در آن ویژگی‌های مفید می­توانستند دستکاری، یا در حوزه‌هایی با فضای حالت سطح پایین قابل‌مشاهده باشند. در اینجا ما از پیشرفت‌های اخیر در آموزش شبکه‌های عصبی عمیق برای توسعه یک عامل مصنوعی جدید استفاده می‌کنیم که Q-network عمیق نامیده می‌شود و می‌تواند سیاست‌های موفق را به طور مستقیم با استفاده از یادگیری تقویتی چند بعدی به طور مستقیم آموزش ببیند. ما این عامل را در حوزه چالش برانگیز بازی­های Atari 2600 به کار بردیم و نشان می‌دهیم که عامل اصلی Q-network، تنها پیکسل ها و امتیاز بازی را به عنوان ورودی دریافت کرده و با استفاده از الگوریتم، معماری شبکه یکسان و پارامترهای فوق­العاده قادر به پیشی گرفتن از عملکرد الگوریتم­های ارائه شده در گذشته بوده و قابلیت رسیدن به یک سطح قابل‌مقایسه با اجرای یک تستر بازی‌های حرفه‌ای انسانی در بین مجموعه‌ای از ۴۹ بازی را دارا می‌باشد. این کار شکافی را در بین ورودی ها و اقدامات حساس با ابعاد بزرگ به وجود می آورد، در نتیجه اولین عامل مصنوعی می باشد که قادر به یادگیری برای پیشرفت در مجموعه ای متنوع از وظایف چالش برانگیز است.

The theory of reinforcement learning provides a normative account1, deeply rooted in psychological2 and neuroscientific3 perspectives on animal behaviour, of how agents may optimize their control of an environment. To use reinforcement learning successfully in situations approaching real-world complexity, however, agents are confronted with a difficult task: they must derive efficient representations of the environment from high-dimensional sensory inputs, and use these to generalize past experience to new situations. Remarkably, humans and other animals seem to solve this problem through a harmonious combination of reinforcement learning and hierarchical sensory processing systems4,5, the former evidenced by a wealth of neural data revealing notable parallels between the phasic signals emitted by dopaminergic neurons and temporal difference reinforcement learning algorithms3. While reinforcement learning agents have achieved some successes in a variety of domains6,7,8, their applicability has previously been limited to domains in which useful features can be handcrafted, or to domains with fully observed, low-dimensional state spaces. Here we use recent advances in training deep neural networks9,10,11 to develop a novel artificial agent, termed a deep Q-network, that can learn successful policies directly from high-dimensional sensory inputs using end-to-end reinforcement learning. We tested this agent on the challenging domain of classic Atari 2600 games12. We demonstrate that the deep Q-network agent, receiving only the pixels and the game score as inputs, was able to surpass the performance of all previous algorithms and achieve a level comparable to that of a professional human games tester across a set of 49 games, using the same algorithm, network architecture and hyperparameters. This work bridges the divide between high-dimensional sensory inputs and actions, resulting in the first artificial agent that is capable of learning to excel at a diverse array of challenging tasks.