إطار عمل الحوسبة المتوازية الموزعة(HADOOP MAP REDUCE)

يعد ال MAP REDUCE المكون الرئيسي لبرنامج HADOOP.
MAPREDCE هو نظام او برنامج يقوم بمعالجة البيانات الضخمة كما انه يعالج البيانات الأسرع المدخلة والقابلة لتطوير والمتسامحة مع الأخطاء، كما يمكنه المعالجة بشكل متوازي عن طريق تقسيم المهمة الى عدة مهام فرعية مستقلة.
يمكن لبرنامج هادوب تشغيل برامج ال MAPREDUCE المكتوب بلغات برمجية مثل الجافا والبايثون والروبي وجميع لغات السي كما انه يعمل على تقسيم عملية المعالجة الى قسمين: مهمة الخريطة و مهمة تقليل.
تحدث عملية التقليل بعد اكتمال مهمة الخريطة، كما انه تحتوي كل مهمة على ازواج من المفاتيح والقيمة كمدخلات ومخرجات.
تقوم الخريطة بأخذ مجموعة من البيانات ثم تقوم بتحويلها الى بيانات أخرى وبعدها يتم تقسيم العناصر الفردية الى ازواج من القيم الأساسية وبعدها تقوم مهمة التخفيض باستلام الناتج من الخريطة كمدخل ذات قيمة مفتاح وتجمع البيانات في مجموعة أصغر من ازواج القيمة الأساسية.
بنية MAPREDUCE
تتكون بنيته من عمليتين خفيتين هما:
JOB TRAKER وهو متعقب الوظائف
TASKTRACKER وهو متعقب المهام
العملية الأولى هي عملية رئيسية وظيفتها تنسيق وكمال وظيفة MAPREDUCE في هادوب.
كما انه لديه وظائف أخرى هي إدارة الموارد وتتبع توفر الموارد وتتبع طلبات المستخدم.
العملية الثانية هي عملية تابعة للعملية الأولى يرسل رسائل الى العملية الأولى كل ثلاث ثوان لإبلاغ العملية الأولى ويرسل الحالة حول المهمة يستفسر فيما إذا كان يجب تحقيق أي مهمة.
مراحل ال REDUCE MAP
تحتوي على خطوات وعمليات متعددة كما ان وظائفها معقدة وتنطوي على العديد من الخطوات ويتم تنفيذها بواسطة هادوب باستخدام السلوك الافتراضي ويمكن تجاوزها إذا اضطر الامر
كما انه يتم التنفيذ على ثلاث مراحل هما:
1- رسم الخرائط
2- الخلط
3- والفرز والاختزال
4- يوجد مرحلة أخرى ولكنها تعد اختيارية تسمى مرحلة الجميع
تطبيقات HADOOP MAPREDUCE
نذكر منها ما يلي:
الترفيه
يتم إصدار الكثير من مسلسلات الويب والأفلام على العديد من منصات OTT مثل Netflix
التجارة الالكترونية
تستخدم العديد من شركات التجارة الإلكترونية MapReduce لتحليل سلوك الشراء للعملاء بناءً على اهتمامات العملاء أو سلوكهم الشرائي.تصفّح