بررسی ابزارهای MapReduce در BigData - تاریخچهٔ نسخه‌ها

94131572: /* تاریخچه و معرفی مدل نگاشت کاهشی */

2016-03-06T01:51:00Z

تاریخچه و معرفی مدل نگاشت کاهشی

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۶:۲۱
خط ۳۴:		خط ۳۴:
	reduce (key2, {value2, . . .}) → (key2, value3) (2)<br/>		reduce (key2, {value2, . . .}) → (key2, value3) (2)<br/>

	دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1">Daniel Peralta, Sara del Río, Sergio Ramírez-Gallego, Isaac Triguero, Jose M. Benitez, and Francisco Herrera / Evolutionary Feature Selection for Big Data Classification: A MapReduce Approach / 2015</ref>		دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1">Daniel Peralta, Sara del Río, Sergio Ramírez-Gallego, Isaac Triguero, Jose M. Benitez, and Francisco Herrera / Evolutionary Feature Selection for Big Data Classification: A MapReduce Approach / 2015 /[http://www.hindawi.com/journals/mpe/2015/246139/ لینک به مقاله]</ref>

	==تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی==		==تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی==
	=== روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)===		=== روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)===

94131572 در ‏۶ مارس ۲۰۱۶، ساعت ۰۱:۴۵

2016-03-06T01:45:00Z

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۶:۱۵
خط ۳۴:		خط ۳۴:
	reduce (key2, {value2, . . .}) → (key2, value3) (2)<br/>		reduce (key2, {value2, . . .}) → (key2, value3) (2)<br/>

	دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1"/>		دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1">Daniel Peralta, Sara del Río, Sergio Ramírez-Gallego, Isaac Triguero, Jose M. Benitez, and Francisco Herrera / Evolutionary Feature Selection for Big Data Classification: A MapReduce Approach / 2015</ref>
	==تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی==		==تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی==
	=== روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)===		=== روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)===

94131572 در ‏۶ مارس ۲۰۱۶، ساعت ۰۱:۳۴

2016-03-06T01:34:19Z

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۶:۰۴
خط ۱۵:		خط ۱۵:

	==تعاریف و اصطلاحات (فرهنگ داده‌ها)==		==تعاریف و اصطلاحات (فرهنگ داده‌ها)==
	*نگاشت کننده (Mapper): کلاسی که دارای متد map بوده و این متد توسط برنامه نویس پیاده سازی شده و عملیات نگاشت توسط آن انجام می گیرد. <ref name="r6">Mahdi Saber, Simon Hacks, / Supportive Role of Big Data Technologies in Enterprise Architecture Management/2015/[http://www.wiwi.uni-frankfurt.de/en/departments/finance/seminar/finance-seminar-series/winter-term-20152016.html لینک به مقاله]</ref><br />		*نگاشت کننده (Mapper): کلاسی که دارای متد map بوده و این متد توسط برنامه نویس پیاده سازی شده و عملیات نگاشت توسط آن انجام می گیرد. <ref name="r6">Mahdi Saber, Simon Hacks, / Supportive Role of Big Data Technologies in Enterprise Architecture Management/2015/[http://www.wiwi.uni-frankfurt.de/en/departments/finance/seminar/finance-seminar-series/winter-term-20152016.html لینک به مقاله]</ref><br/>
	*کاهنده (Reducer): نتایجی که توسط کلاس های نگاشت کننده تولید می شوند، به صورت جفت های کلید-مقدار هستند که برای اعمال عملیات کاهش به کلاس های کاهنده ارسال می شوند. در واقع یک کلاس کاهنده دارای یک متد reduce است که عملیات ادغام مقادیر مربوط به کلید های مشترک را برعهده دارد. <ref name="r6"/><br/>		*کاهنده (Reducer): نتایجی که توسط کلاس های نگاشت کننده تولید می شوند، به صورت جفت های کلید-مقدار هستند که برای اعمال عملیات کاهش به کلاس های کاهنده ارسال می شوند. در واقع یک کلاس کاهنده دارای یک متد reduce است که عملیات ادغام مقادیر مربوط به کلید های مشترک را برعهده دارد. <ref name="r6"/><br/>
	*سیستم فایل توزیع شده Hadoop یا HDFS: یک سیستم فایل توزیع شده مبتنی بر بلاک و با معماری ذخیره-سازی تکراری (redundant) است که در مدل های نگاشت کاهشی ارایه شده توسط Apache نظیر Hadoop و Spark مورد استفاده قرار می گیرد و دارای کاریی بالا و قابل قبول است. <ref name="r6"/><br/>		*سیستم فایل توزیع شده Hadoop یا HDFS: یک سیستم فایل توزیع شده مبتنی بر بلاک و با معماری ذخیره-سازی تکراری (redundant) است که در مدل های نگاشت کاهشی ارایه شده توسط Apache نظیر Hadoop و Spark مورد استفاده قرار می گیرد و دارای کاریی بالا و قابل قبول است. <ref name="r6"/><br/>
خط ۴۶:		خط ۴۶:
	Hadoop بر روی یک فایل سیستم توزیع شده Hadoop یا HDFS کار می کند که قادر است فایل های داده را در تعداد زیادی گره به صورت موازی توزیع کند و این کار امکان ارسال سریع داده را بین گره ها امکان پذیر نموده و هنگامی که یک یا چند گره مختل شوند، سیستم همچنان بدون وقفه قادر به ادامه سرویس دهی خواهد بود.<ref name="r1"/><br />		Hadoop بر روی یک فایل سیستم توزیع شده Hadoop یا HDFS کار می کند که قادر است فایل های داده را در تعداد زیادی گره به صورت موازی توزیع کند و این کار امکان ارسال سریع داده را بین گره ها امکان پذیر نموده و هنگامی که یک یا چند گره مختل شوند، سیستم همچنان بدون وقفه قادر به ادامه سرویس دهی خواهد بود.<ref name="r1"/><br />
	در حالت کلی توابع نگاشت کاهشی به همراه مولفه های دسترسی و جابجایی داده، تعیین کننده اصلی تاخیر در برنامه های end-to-end هستند. مطالعات متعدد کارایی نشان می دهند که Hadoop دارای نقاط حساس زیادی است که می توانند بر روی کارایی آن تاثیرگذار باشند. در حقیقت Hadoop دارای حدود 200 پارامتر تنظیم کننده است که هرکدام از آنها برروی کارایی آن اثرگذارند و یک برنامه نویس باید تمامی آنها را برای دریافت یک کارایی خوب تنظیم کرده باشد. شواهد تجربی نشان می دهد که تنظیم دقیق تعداد کمی از این پارامترها می تواند کارایی را 100 تا 200 درصد افزایش دهد. بهینه سازی تنظیمات یک برنامه Hadoop بر روی یک بستر اجرایی یک طراحی بسیار پیچیده است. <ref name="r4">Xing Wu, Yan Liu, Ian Gorton / Exploring Performance Models of Hadoop Applications on Cloud Architecture/2015/[http://dl.acm.org/citation.cfm?id=2737197 لینک به مقاله]</ref><br/>		در حالت کلی توابع نگاشت کاهشی به همراه مولفه های دسترسی و جابجایی داده، تعیین کننده اصلی تاخیر در برنامه های end-to-end هستند. مطالعات متعدد کارایی نشان می دهند که Hadoop دارای نقاط حساس زیادی است که می توانند بر روی کارایی آن تاثیرگذار باشند. در حقیقت Hadoop دارای حدود 200 پارامتر تنظیم کننده است که هرکدام از آنها برروی کارایی آن اثرگذارند و یک برنامه نویس باید تمامی آنها را برای دریافت یک کارایی خوب تنظیم کرده باشد. شواهد تجربی نشان می دهد که تنظیم دقیق تعداد کمی از این پارامترها می تواند کارایی را 100 تا 200 درصد افزایش دهد. بهینه سازی تنظیمات یک برنامه Hadoop بر روی یک بستر اجرایی یک طراحی بسیار پیچیده است. <ref name="r4">Xing Wu, Yan Liu, Ian Gorton / Exploring Performance Models of Hadoop Applications on Cloud Architecture/2015/[http://dl.acm.org/citation.cfm?id=2737197 لینک به مقاله]</ref><br/>
	مولفه های مهم Hadoop عبارتند از:<ref name="r2"/><br/>		مولفه های مهم Hadoop عبارتند از:<ref name="r2">Dilpreet Singh and Chandan K Reddy / A survey on platforms for big data analytics/2014/[http://dl.acm.org/citation.cfm?id=2737197 لینک به مقاله]</ref><br/>
	* <big>Distributed File System (HDFS)</big><br />		* <big>Distributed File System (HDFS)</big><br />
	یک سیستم فایل توزیع شده برای ذخیره داده بر روی کلاستری از چندین سرور است که امکاناتی نظیر مقاومت در برابر خرابی (Fault Tolerance) را ارایه می کند.		یک سیستم فایل توزیع شده برای ذخیره داده بر روی کلاستری از چندین سرور است که امکاناتی نظیر مقاومت در برابر خرابی (Fault Tolerance) را ارایه می کند.

94131572 در ‏۶ مارس ۲۰۱۶، ساعت ۰۱:۲۱

2016-03-06T01:21:08Z

نمایش تغییرات

94131572: /* تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی */

2016-03-06T01:17:37Z

تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۵:۴۷
خط ۳۹:		خط ۳۹:
	هدف اصلی از به‌کارگیری متدهای کاهش داده، شفاف‌سازی و ساده‌سازی داده های ورودی و درعین حال، حذف نویز و افزونگی داده و بالا بردن کارایی و دقت سیستم است.		هدف اصلی از به‌کارگیری متدهای کاهش داده، شفاف‌سازی و ساده‌سازی داده های ورودی و درعین حال، حذف نویز و افزونگی داده و بالا بردن کارایی و دقت سیستم است.
	دو نوع مدل اصلی برای کاهش داده عبارتند از: سطح نمونه (انتخاب و تولید نمونه) و سطح ویژگی ها (انتخاب و استخراج ویژگی)		دو نوع مدل اصلی برای کاهش داده عبارتند از: سطح نمونه (انتخاب و تولید نمونه) و سطح ویژگی ها (انتخاب و استخراج ویژگی)
	مقاله با عنوان “Evolutionary Feature Selection for Big Data Classification” تکنیک جدیدی برای انتخاب ویژگی‌ها از بین مجموعه‌های بسیار بزرگ داده برای استفاده در تکنیک‌های Classification (که درحال حاضر امکان کار با مجموعه‌های بسیار بزرگ داده را ندارند)، ارایه شده است.		مقاله با عنوان “Evolutionary Feature Selection for Big Data Classification” تکنیک جدیدی برای انتخاب ویژگی‌ها از بین مجموعه‌های بسیار بزرگ داده برای استفاده در تکنیک‌های Classification (که درحال حاضر امکان کار با مجموعه‌های بسیار بزرگ داده را ندارند)، ارایه شده است.<br/>
	در الگوریتم نگاشت کاهشی ارایه شده در این مقاله، فازهای نگاشت و کاهش داده به صورت موازی انجام می شوند و این الگوریتم تحت عنوان “Evolutionary Feature Selection for Big Data Classification” یا به صورت اختصار MR-EFS معرفی شده است. <ref name="r1"/><br />		در الگوریتم نگاشت کاهشی ارایه شده در این مقاله، فازهای نگاشت و کاهش داده به صورت موازی انجام می شوند و این الگوریتم تحت عنوان “Evolutionary Feature Selection for Big Data Classification” یا به صورت اختصار MR-EFS معرفی شده است. <ref name="r1"/><br/>

	== معرفی ابزار Apache Hadoop ==		== معرفی ابزار Apache Hadoop ==

94131572: /* تاریخچه و معرفی مدل نگاشت کاهشی */

2016-03-06T01:15:53Z

تاریخچه و معرفی مدل نگاشت کاهشی

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۵:۴۵
خط ۳۵:		خط ۳۵:

	دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1"/>		دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1"/>
	--تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی--		==تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی==
	~~---~~ روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)~~---~~		=== روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)===
	هدف اصلی از به‌کارگیری متدهای کاهش داده، شفاف‌سازی و ساده‌سازی داده های ورودی و درعین حال، حذف نویز و افزونگی داده و بالا بردن کارایی و دقت سیستم است.		هدف اصلی از به‌کارگیری متدهای کاهش داده، شفاف‌سازی و ساده‌سازی داده های ورودی و درعین حال، حذف نویز و افزونگی داده و بالا بردن کارایی و دقت سیستم است.
	دو نوع مدل اصلی برای کاهش داده عبارتند از: سطح نمونه (انتخاب و تولید نمونه) و سطح ویژگی ها (انتخاب و استخراج ویژگی)		دو نوع مدل اصلی برای کاهش داده عبارتند از: سطح نمونه (انتخاب و تولید نمونه) و سطح ویژگی ها (انتخاب و استخراج ویژگی)
	مقاله با عنوان “Evolutionary Feature Selection for Big Data Classification” تکنیک جدیدی برای انتخاب ویژگی‌ها از بین مجموعه‌های بسیار بزرگ داده برای استفاده در تکنیک‌های Classification (که درحال حاضر امکان کار با مجموعه‌های بسیار بزرگ داده را ندارند)، ارایه شده است.		مقاله با عنوان “Evolutionary Feature Selection for Big Data Classification” تکنیک جدیدی برای انتخاب ویژگی‌ها از بین مجموعه‌های بسیار بزرگ داده برای استفاده در تکنیک‌های Classification (که درحال حاضر امکان کار با مجموعه‌های بسیار بزرگ داده را ندارند)، ارایه شده است.
	در الگوریتم نگاشت کاهشی ارایه شده در این مقاله، فازهای نگاشت و کاهش داده به صورت موازی انجام می شوند و این الگوریتم تحت عنوان “Evolutionary Feature Selection for Big Data Classification” یا به صورت اختصار MR-EFS معرفی شده است. <ref name="r1"/><br />		در الگوریتم نگاشت کاهشی ارایه شده در این مقاله، فازهای نگاشت و کاهش داده به صورت موازی انجام می شوند و این الگوریتم تحت عنوان “Evolutionary Feature Selection for Big Data Classification” یا به صورت اختصار MR-EFS معرفی شده است. <ref name="r1"/><br />


	== معرفی ابزار Apache Hadoop ==		== معرفی ابزار Apache Hadoop ==

94131572 در ‏۶ مارس ۲۰۱۶، ساعت ۰۱:۱۴

2016-03-06T01:14:50Z

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۵:۴۴
خط ۳۵:		خط ۳۵:

	دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1"/>		دو پیاده سازی از برنامه نویسی نگاشت کاهشی در سال های اخیر Hadoop و Spark می باشند.<ref name="r1"/>
			--تحقیقات جدید راجع به مدل‌های نگاشت‌کاهشی--
			--- روش انتخاب ویژگی تکاملی جهت استفاده در دسته‌بندی (Classification)---
			هدف اصلی از به‌کارگیری متدهای کاهش داده، شفاف‌سازی و ساده‌سازی داده های ورودی و درعین حال، حذف نویز و افزونگی داده و بالا بردن کارایی و دقت سیستم است.
			دو نوع مدل اصلی برای کاهش داده عبارتند از: سطح نمونه (انتخاب و تولید نمونه) و سطح ویژگی ها (انتخاب و استخراج ویژگی)
			مقاله با عنوان “Evolutionary Feature Selection for Big Data Classification” تکنیک جدیدی برای انتخاب ویژگی‌ها از بین مجموعه‌های بسیار بزرگ داده برای استفاده در تکنیک‌های Classification (که درحال حاضر امکان کار با مجموعه‌های بسیار بزرگ داده را ندارند)، ارایه شده است.
			در الگوریتم نگاشت کاهشی ارایه شده در این مقاله، فازهای نگاشت و کاهش داده به صورت موازی انجام می شوند و این الگوریتم تحت عنوان “Evolutionary Feature Selection for Big Data Classification” یا به صورت اختصار MR-EFS معرفی شده است. <ref name="r1"/><br />


	== معرفی ابزار Apache Hadoop ==		== معرفی ابزار Apache Hadoop ==

94131572: /* معرفی ابزار Apache Hadoop */

2016-03-06T01:11:38Z

معرفی ابزار Apache Hadoop

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۵:۴۱
خط ۵۷:		خط ۵۷:
	[[پرونده:Hadoop-Architecture.png\|600px\|بندانگشتی\|وسط]]		[[پرونده:Hadoop-Architecture.png\|600px\|بندانگشتی\|وسط]]
	سیستم فایل توزیع شده Hadoop دارای یک معماری master-slave بوده و از اجزای زیر تشکیل شده است:		سیستم فایل توزیع شده Hadoop دارای یک معماری master-slave بوده و از اجزای زیر تشکیل شده است:
	#Namenode: گره ای که Namenode بر روی آن نصب می شود به عنوان گره اصلی (master) بوده و کارهای زیر را انجام می دهد:		'''Namenode:''' گره ای که Namenode بر روی آن نصب می شود به عنوان گره اصلی (master) بوده و کارهای زیر را انجام می دهد:
	مدیریت namespace سیستم		مدیریت namespace سیستم
	*تنظیمات دسترسی کلاینت به فایل ها		*تنظیمات دسترسی کلاینت به فایل ها
	*عملیات سیستمی نظیر تغییرنام، بستن و بازکردن فایل ها و دایرکتوری ها		*عملیات سیستمی نظیر تغییرنام، بستن و بازکردن فایل ها و دایرکتوری ها

	#Datanode: هر گره در کلاستر دارای یک Datanode می باشد که وظیفه آن مدیریت ذخیره سازی داده در گره مربوطه است و وظایف زیر را نیز برعهده دارد:		'''Datanode:''' هر گره در کلاستر دارای یک Datanode می باشد که وظیفه آن مدیریت ذخیره سازی داده در گره مربوطه است و وظایف زیر را نیز برعهده دارد:
	*انجام عملیات خواندن / نوشتن از سیستم فایل به ازای هر درخواست کلاینت		*انجام عملیات خواندن / نوشتن از سیستم فایل به ازای هر درخواست کلاینت
	*انجام عملیاتی نظیر ایجاد، حذف و تکرار بلاک داده براساس دستور صادره از سوی Namenode		*انجام عملیاتی نظیر ایجاد، حذف و تکرار بلاک داده براساس دستور صادره از سوی Namenode

	#Block: معمولا داده کاربر در فایل های HDFS ذخیره می شود. هر فایل در فایل سیستم به یک یا چندین segment جهت ذخیره سازی بر روی Datanode های مختلف تقسیم می شود. به هریک از این segment ها یک بلاک گفته می شود. اندازه پیش فرض بلاک 64 مگابایت است که می توان برحسب نیاز آن را افزایش داد.		'''Block:''' معمولا داده کاربر در فایل های HDFS ذخیره می شود. هر فایل در فایل سیستم به یک یا چندین segment جهت ذخیره سازی بر روی Datanode های مختلف تقسیم می شود. به هریک از این segment ها یک بلاک گفته می شود. اندازه پیش فرض بلاک 64 مگابایت است که می توان برحسب نیاز آن را افزایش داد.

	==معرفی ابزار Apache Spark==		==معرفی ابزار Apache Spark==

94131572: /* معرفی ابزار Apache Hadoop */

2016-03-06T01:09:31Z

معرفی ابزار Apache Hadoop

@@ خط ۵۲: / خط ۵۲: @@
 یک مدل پایگاه داده غیررابطه ای است که پرس و جوهای سطح پایین را پشتیبانی می کند و در واقع در مقابل Hive قرار می گیرد که کاملا از SQL پشتبیانی می کند. همجنین برخلاف Hive برای پردازش برنامه های real-time مورد استفاده قرار می گیرد.<ref name="r5"> Anand Loganathan, Ankur Sinha, Muthuramakrishnan V., and Srikanth Natarajan/A Systematic Approach to Big Data Exploration of the Hadoop Framework/2014/[http://www.irphouse.com/volume%20special/ijictv4n9spl.htm لینک به مقاله]</ref><br />
 [[پرونده:Hadoop-Structure.png|600px|بندانگشتی|وسط]]
 ==معرفی ابزار Apache Spark==
 Spark ابزار دیگری است که در ارتباط تنگاتنگ با Hadoop می¬باشد. در واقع یک فریم¬ورک محاسباتی کلاستر بوده که در ابتدا توسط آزمایشگاه برکلی دانشگاه کالیفرنیا (UC Berkeley AMP) برای پردازش داده در مقیاس بزرگ، ارایه و به¬کار گرفته شد. از مزیت¬های آن بهبود مدیریت حافظه است. <ref name="r1"/><br />

94131572: /* معرفی ابزار Apache Spark */

2016-03-06T01:00:16Z

معرفی ابزار Apache Spark

→ نسخهٔ قدیمی‌تر		نسخهٔ ‏۶ مارس ۲۰۱۶، ساعت ۰۵:۳۰
خط ۵۹:		خط ۵۹:
	یکی از اهداف پیاده¬سازی Spark، سرویس¬دهی به برنامه¬هایی است که نیاز به تاخیر کم (نزدیک به بلادرنگ) دارند.		یکی از اهداف پیاده¬سازی Spark، سرویس¬دهی به برنامه¬هایی است که نیاز به تاخیر کم (نزدیک به بلادرنگ) دارند.
	[[پرونده:Spark.png\|400px\|قاب\|وسط]]		[[پرونده:Spark.png\|400px\|قاب\|وسط]]
			اجزای Spark عبارتند از:
			#Spark Core: قلب Spark بوده و عملیاتی نظیر زمانبندی کارها را برعهده دارد. وظیفه اصلی Spark Core مدیریت مجموعه بلاک¬های RDD است که در ادامه توضیحات کاملی در مورد آنها ارایه خواهد شد.
			#Spark SQL: ماژولی که با ترکیب پرس و جوهای SQL با الگوریتم¬های تحلیلی پیچیده امکان کار با داده¬های ساختیافته را برای کابران آشنا به DBMS ارایه می¬کند.
			#Spark Streaming: این ماژول با پشتیبانی از تحمل¬پذیری خطا و مقیاس¬پذیری، برای پردازش جریانی از داده¬ها به کار می¬رود و قابلیت یکپارچه¬سازی با ابزارهای جریان داده نظیر Flume را دارا می¬باشد.
			#MLib:کتابخانه یادگیری ماشین در وضعیت مقیاس¬پذیر می¬باشد و مجموعه¬ای از الگوریتم¬های آماری و یادگیری ماشین نظیر تست¬های رگرسیون و classification را پیاده¬سازی می¬کند.
			#GraphX: تحلیل و محاسبات داده را بر پایه گراف و الگوریتم¬ها و پردازش¬های گرافی انجام می¬دهد.
			#Spark R: این ماژول مکانیزم تحلیل داده را با ارایه مکانیزم¬های سبک و قابل فهم، تسهیل می¬کند.

	==مقایسه ابزارهای Hadoop و Spark==		==مقایسه ابزارهای Hadoop و Spark==