skip to Main Content
سیستم‌های اطلاعاتی  عملکرد Mapreduce برای مدل Hadoop 2.x

سیستم‌های اطلاعاتی عملکرد Mapreduce برای مدل Hadoop 2.x

عنوان انگلیسی: Mapreduce performance model for Hadoop 2.x
سال نشر: ۲۰۱۹
نویسنده: Daria Glushkova,Petar Jovanovic,Alberto Abelló
تعداد صفحه فارسی: ۲۸ – تعداد صفحه انگلیسی: ۱۲
دانشگاه: Universitat Politècnica de Catalunya, BarcelonaTech, Barcelona, Spain
نشریه: Process Safety and Environmental Protection
کیفیت ترجمه: اقتصادی

چکیده

MapReduce یک مدل برنامه نویسی محبوب برای پردازش توزیع شده از مجموعه داده های بزرگ است. Apache Hadoop به عنوان یکی از رایج‌ترین کاربردهای منبع باز از این نمونه است. تجزیه و تحلیل عملکرد اجرای همزمان کارها به عنوان یک مشکل چالش برانگیز شناخته شده است، که در عین حال می تواند برآورد زمان پاسخ دقیق کار را در هزینه های قابل ملاحظه ای پایین تر از ارزیابی تجربی از تنظیمات واقعی ارائه دهد. در این مقاله، ما با چالش تعریف مدل عملکرد MapReduce برای Hadoop 2.x روبرو هستیم. در حالی که چند رویکرد کارآمد برای مدل سازی بارگذاری کارهای MapReduce در Hadoop 1.x وجود دارد، آنها نمی توانند به Hadoop 2.x به دلیل معماری پایهتغییرات و تخصیص منابع پویا در Hadoop 2.x اعمال شوند . بنابراین، راه حل پیشنهادی بر اساس یک مدل عملکرد موجود برای Hadoop 1.x است، اما با در نظر گرفتن تغییرات معماری و جریان اجرای یک کار MapReduce با استفاده از مدل شبکۀ ردیف اتخاذ می شود. به این ترتیب، مدل هزینه نشان دهنده محدودیت های هماهنگ سازی درون کاری است که به علت اختلاف در منابع مشترک به وجود می آید. دقت راه حل ما از طریق مقایسه تخمین

Abstract

MapReduce is a popular programming model for distributed processing of large data sets. Apache Hadoop is one of the most common open-source implementations of such paradigm. Performance analysis of concurrent job executions has been recognized as a challenging problem, at the same time, that may provide reasonably accurate job response time estimation at significantly lower cost than experimental evaluation of real setups. In this paper, we tackle the challenge of defining MapReduce performance model for Hadoop 2.x. While there are several efficient approaches for modeling the performance of MapReduce workloads in Hadoop 1.x, they could not be applied to Hadoop 2.x due to fundamental architectural changes and dynamic resource allocation in Hadoop 2.x. Thus, the proposed solution is based on an existing performance model for Hadoop 1.x, but taking into consideration architectural changes and capturing the execution flow of a MapReduce job by using queuing network model. This way, the co
۲۶۰,۰۰۰ ریال – خرید
امتیاز شما:
(No Ratings Yet)
Back To Top