یک پایگاه بزرگ داده برای اندازه گیری هوشمند داده های تحلیلی

شبکه‌های هوشمند شروع به تولید یک حجم عظیم از داده کرده‌اند. تحقیقات گسترده‌ای در زمینه تجزیه و تحلیل داده‌های کنتور برای مجموعه داده‌های کوچک شبکه برق و مصرف برق انجام شده‌است. با این حال، تحقیقات محدود روش‌ها، سیستم‌ها و ابزار را برای پشتیبانی از ذخیره داده‌ها و تجزیه و تحلیل داده‌ها برای داده‌های بزرگی که توسط شبکه‌های هوشمند تولید می‌شوند، مورد بررسی قرار داده‌است. این کار یک معماری سیستم – واسطه – مشتری جدید را برای تجزیه و تحلیل داده‌های بزرگ پیشنهاد کرده‌است. سکوی اجرا شده آن توسط (Hadoop (SMASH تحلیل ابزار هوشمند نامیده می‌شود. کار ما نشان می‌دهد که SMASH قادر به انجام ذخیره‌سازی داده، پرس و جو، تحلیل و تصویرسازی وظایف بر روی مجموعه داده‌های بزرگ در مقیاس ۲۰ مسلول است. عملکرد SMASH در ذخیره‌سازی و پرس و جو مقادیر زیادی از داده‌ها با نتایج منتشر شده توسط ابر گوگل، IBM، MongoDB، و AMPLab مقایسه می‌شوند. نتایج تجربی نشان می‌دهند که SMASH برای مدیریت داده‌های بزرگ انرژی و تجسم دانش، با پتانسیل برای پشتیبانی از تصمیم‌گیری فشرده داده‌ها، یک پلت فرم فعال و قابل حرکت را فراهم می‌کند.

Highlights•This work proposes a core-broker-client architecture for big meter data analytics.•This layered architecture provides modular functionality.•It can facilitate data analysis for the UK annual residential electricity meter data.•It demonstrates a competitive performance with major commercial products.AbstractSmart grids have started generating an ever increasingly large volume of data. Extensive research has been done in meter data analytics for small data sets of electrical grid and electricity consumption. However limited research has investigated the methods, systems and tools to support data storage and data analytics for big data generated by smart grids. This work has proposed a new core-broker-client system architecture for big data analytics. Its implemented platform is named Smart Meter Analytics Scaled by Hadoop (SMASH). Our work has demonstrated that SMASH is able to perform data storage, query, analysis and visualization tasks on large data sets at 20 TB scale. The