بهینه سازی درخت تصمیم گیری با استفاده از بهینه سازی ذرات چند منظوره

اگرچه به لحاظ مفهومی بسیار ساده است اما درخت‌های تصمیم¬گیری هنوز هم جزو متداول‌ترین طبقه‌بندی کننده‌های مورد استفاده برای مشکلات دنیای واقعی هستند. محبوبیت آن‌ها به دلیل عوامل مختلفی است که در میان آن‌ها، سهولت درک، عملکرد قوی و قابلیت‌های پردازش سریع داده¬های آن‌ها است. علاوه بر این انتخاب ویژگی درون ساختار درخت تصمیم‌گیری ضمنی است.
این فصل ایده‌های اساسی درباره¬ی درختان تصمیم‌گیری را معرفی می‌کند، بر روی درخت‌های تصمیم‌گیری متمرکز می‌شود که تنها یک قاعده مربوط به یک ویژگی در یک‌گره را در نظر می‌گیرند (بنابراین محور بازگشتی – برش‌های موازی را در فضایی از ویژگی¬ها ایجاد می‌کنند تا مرزهای طبقه‌بندی آن‌ها را تشکیل دهند). استفاده از بهینه‌سازی انبوه ذرات (PSO) برای آموزش در نزدیکی درخت‌های تصمیم بهینه مورد بحث قرار می‌گیرد، و PSO در یک فرمول هدف واحد (به حداقل رساندن هزینه طبقه‌بندی)، و فرموله کردن چند هدفه (تجارت با نرخ طبقه‌بندی اشتباه در کلاس¬ها)اعمال می‌شود.
نتایج تجربی بر روی داده‌های طبقه‌بندی عمومی از مخزن یادگیری ماشین مشهور UCI ارایه شده‌است و PSO بعنوان یک بهینه ساز برای درخت

SummaryAlthough conceptually quite simple, decision trees are still among the most popular classifiers applied to real-world problems. Their popularity is due to a number of factors – core among these is their ease of comprehension, robust performance and fast data processing capabilities. Additionally feature selection is implicit within the decision tree structure.This chapter introduces the basic ideas behind decision trees, focusing on decision trees which only consider a rule relating to a single feature at a node (therefore making recursive axis-parallel slices in feature space to form their classification boundaries). The use of particle swarm optimization (PSO) to train near optimal decision trees is discussed, and PSO is applied both in a single objective formulation (minimizing misclassification cost), and multi-objective formulation (trading off misclassification rates across classes).Empirical results are presented on popular classification data sets from the well-known UCI