مدیریت منابع توزیع شده در شبکه¬های حسگر بی سیم با استفاده از یادگیری تقویتی

چکیده
در شبکه¬های حسگر بی¬سیم (WSNها) انتظار بر این است که گره¬های منبع محدود در محیط¬های بسیار دینامیکی و اغلب بدون نظارت فعالیت کنند. بنابراین، حمایت از مدیریت منابع هوشمند، مستقل، سازگار و توزیع شده، یک جزء ضروری از یک راه¬حل میان¬افزار برای توسعه کاربردهای WSN مقیاس¬پذیر و دینامیکی است. در این مقاله، چارچوب مدیریت منابع مبتنی بر طرح یادگیری تقویتی دو لایه را ارائه می-کنیم تا کاربردهای تطبیقی و خود یادگیری خودکار با پشتیبانی ذاتی برای مدیریت منابع کارآمد را فعالسازی کنیم. هدف از طراحی ما ایجاد سیستمی با یک رویکرد پایین به بالا است که در آن هر گره حسگر مسئول تخصیص منابع خود و انتخاب وظیفه است. لایه یادگیری نخست (میکرو آموزش) به گره¬های حسگر منحصر بفرد اجازه می¬دهد تا وظائف خودشان را با استفاده از اطلاعات محلی خود برنامه¬ریزی کنند، و در نتیجه تطبیق به موقع را عملی سازند. دومین لایه یادگیری (ماکرو آموزش) با تنظیم پارامترهای عملیاتی خودش میکرو یادگیری¬ها را کنترل می¬کند چنان که سیستم به سمت یک هدف بهینه¬سازی با کاربرد خاص جهانی (بعنوان مثال بیشینه کردن طول عمر شبکه) هدایت می¬شود. اثربخ

In wireless sensor networks (WSNs), resource-constrained nodes are expected to operate in highly dynamic and often unattended environments. Hence, support for intelligent, autonomous, adaptive and distributed resource management is an essential ingredient of a middleware solution for developing scalable and dynamic WSN applications. In this article, we present a resource management framework based on a two-tier reinforcement learning scheme to enable autonomous self-learning and adaptive applications with inherent support for efficient resource management. Our design goal is to build a system with a bottom-up approach where each sensor node is responsible for its resource allocation and task selection. The first learning tier (micro-learning) allows individual sensor nodes to self-schedule their tasks by using only local information, thus enabling a timely adaptation. The second learning tier (macro-learning) governs the micro-learners by tuning their operating parameters so as to guid