پردازش داده های خطوط هوایی (Big data) با متلب به همراه داکیومنت

پروژه پردازش داده های خطوط هوایی (Big data) در MATLAB

پردازش داده های خطوط هوایی با متلب را در این پست همراه با داکیومنت به صورت رایگان آماده کردیم که یک پروژه مناسب در زمینه پردازش داده های بزرگ و پردازش موازی (Parallel Computing) است. در ادامه به معرفی این پروژه، تجزیه و تحلیل داده های بزرگ و روش برنامه نویسی MapReduce پرداخته و فیلم خروجی پروژه به همراه لینک دانلود قرار داده شده است.

پردازش داده های بزرگ (Big data):

امروزه تجزیه و تحلیل داده های بزرگ توجه بسیاری از محققان را به سوی خود جلب کرده است. داده های عظیم (Big data) به عنوان مجموعه از داده ها تعریف می گردد که اندازه آنها فراتر از توانایی پردازش پایگاه داده های معمولی و یا کامپیوتر ها می باشد.

معرفی پروژه پردازش داده های خطوط هوایی:

این پروژه پردازش داده های بزرگ با روش برنامه‌ نویسی MapReduce انجام شده است که در نسخه 2014 نرم افزار MATLAB در دسترس است و در نسخه های بالاتر نیز قابل اجرا می باشد. تکنیک MapReduce یک راه به منظور پردازش داده‌ های عظیم مبتنی بر فایل بر روی کامپیوتر فراهم می سازد. مجموعه داده های مورد استفاده در این پروژه Big data شامل رکورد هایی حاوی معیار های کارایی پرواز های خانگی خطوط هوایی آمریکا طی سال ‌های ۱۹۸۷ تا ۲۰۰۸ در فایل اکسل با پسوند csv می باشد.

توضیحات بیشتر و فیلم خروجی پروژه پردازش داده های خطوط هوایی با MATLAB در ادامه مطلب.

آشنایی با برنامه‌ نویسی MapReduce:

روش Mapreduce یک تکنیک برنامه ‌نویسی به منظور تقسیم و غلبه است که در داده ‌های بزرگ مورد استفاده قرار می گیرد. تابع mapreduce در نرم افزار متلب نیازمند سه آرگومان ورودی است که در زیر به شرح آنها می پردازیم:

1. یک datastore جهت خواندن داده درون تابع map به صورت چانک به چانک می باشد.
2. یک تابع map که بر روی هر چانک داده عمل کرده و خروجی آن نیز یک محاسبه جزئی می باشد. Mapreduce تابع map را یک بار برای هر چانک داده ای که در datastore وجود دارد، فراخوانی می‌ نماید که هر عملیات به طور مستقل از فراخوانی ‌های دیگر map می باشد.
3. به تابع reduce خروجی ‌های حاصل از تابع map میدهیم و تابع reduce محاسبات شروع شده از طریق تابع map را به پایان رسانده و پاسخ نهایی را اجیاد می نماید.