Hadoop: تفاوت میان نسخه‌ها
بدون خلاصۀ ویرایش |
بدون خلاصۀ ویرایش |
||
| خط ۷: | خط ۷: | ||
معماری هادوپ یک معماری Master/Slave می باشد. در این معماری، بر روی ماشینی که به عنوان ماشین Master انتخاب می شود، سرویس هایی برای مدیریت و پیکربندی کل سیستم و مدیریت برنامه ها اجرا می شوند. همچنین در ماشین Master ابزارهایی برای مدیریت داده ها و تحویل برنامه به سیستم وجود دارد که کاربرانِ سیستم برای کار با هادوپ می توانند از آنها استفاده کنند. در ماشین Slave نیز سرویس هایی برای اجرای وظایفی که از سمت ماشین Master به آن ارسال می شود، به اجرا در می آیند. | معماری هادوپ یک معماری Master/Slave می باشد. در این معماری، بر روی ماشینی که به عنوان ماشین Master انتخاب می شود، سرویس هایی برای مدیریت و پیکربندی کل سیستم و مدیریت برنامه ها اجرا می شوند. همچنین در ماشین Master ابزارهایی برای مدیریت داده ها و تحویل برنامه به سیستم وجود دارد که کاربرانِ سیستم برای کار با هادوپ می توانند از آنها استفاده کنند. در ماشین Slave نیز سرویس هایی برای اجرای وظایفی که از سمت ماشین Master به آن ارسال می شود، به اجرا در می آیند. | ||
سکوی هادوپ از دو قسمت اصلی تشکیل شده است که این قسمت ها شامل 1) [سیستم فایل توزیع شده هادوپ (HDFS )] و 2) چهارچوب برنامه نویسی [[MapReduce]] می باشند. HDFS وظیفه ذخیره سازی و مدیریت داده ها در سیستم فایل را بر عهده داشته و داده های ورودی را به بلوک های مساوی تقسیم می کند و به ماشین های Slave تحویل می دهد. این سیستم فایل از طریق تکرار داده ها به مقابله با خطا می پردازد. چهارچوب MapReduce نیز یک مدل برنامه نویسی با هدف پردازش و تولید مجموعه ی عظیمی از داده ها فراهم می کند. | سکوی هادوپ از دو قسمت اصلی تشکیل شده است که این قسمت ها شامل 1) [[سیستم فایل توزیع شده هادوپ (HDFS )]] و 2) چهارچوب برنامه نویسی [[MapReduce]] می باشند. HDFS وظیفه ذخیره سازی و مدیریت داده ها در سیستم فایل را بر عهده داشته و داده های ورودی را به بلوک های مساوی تقسیم می کند و به ماشین های Slave تحویل می دهد. این سیستم فایل از طریق تکرار داده ها به مقابله با خطا می پردازد. چهارچوب MapReduce نیز یک مدل برنامه نویسی با هدف پردازش و تولید مجموعه ی عظیمی از داده ها فراهم می کند. | ||
نسخهٔ ۹ اوت ۲۰۱۴، ساعت ۰۲:۵۷
هادوپ یک سکوی نرم افزای متن باز می باشد که از طریق آن می توان بسادگی حجم بسیار بزرگی از داده ها را تحلیل و پردازش کرد. برای مثال، هادوپ می تواند برای کارهایی نظیر شاخص گذاری صفحات وب، داده کاوی، تحلیل فایل های log، یادگیری ماشین، تحلیل های مالی، شبیه سازی های علمی و یا تحقیقات در زمینه بیوانفورماتیک مورد استفاده قرار بگیرد. سکوی هادوپ دارای ویژگی های زیر می باشد:
- مقیاس پذیری: توسط سکوی هادوپ این امکان وجود داردکه مجموعه داده هایی با حجمی در مقیاس چندین پتابایت داده را توسط توزیع داده ها در مقیاس چندین هزار نود در یک کلاستر را مدیریت و پردازش کرد.
- کارآمدی: پردازش موازی داده ها و وجود یک سیستم فایل توزیع شده این امکان را فراهم می کند که بتوان با سرعت بیشتری داده ها را پردازش کرد.
- قابلیت اعتماد: چندین تکرار از داده ها می تواند ایجاد و در سطح کلاستر توزیع شود. در هنگام ایجاد خطا در یکی از نود ها، پلاتفرم می تواند بدون دخالت کاربر به سازماندهی مجدد بپردازد. در نتیجه، تصحیح خطا خودکار نیز امکان پذیر است.
معماری هادوپ یک معماری Master/Slave می باشد. در این معماری، بر روی ماشینی که به عنوان ماشین Master انتخاب می شود، سرویس هایی برای مدیریت و پیکربندی کل سیستم و مدیریت برنامه ها اجرا می شوند. همچنین در ماشین Master ابزارهایی برای مدیریت داده ها و تحویل برنامه به سیستم وجود دارد که کاربرانِ سیستم برای کار با هادوپ می توانند از آنها استفاده کنند. در ماشین Slave نیز سرویس هایی برای اجرای وظایفی که از سمت ماشین Master به آن ارسال می شود، به اجرا در می آیند. سکوی هادوپ از دو قسمت اصلی تشکیل شده است که این قسمت ها شامل 1) سیستم فایل توزیع شده هادوپ (HDFS ) و 2) چهارچوب برنامه نویسی MapReduce می باشند. HDFS وظیفه ذخیره سازی و مدیریت داده ها در سیستم فایل را بر عهده داشته و داده های ورودی را به بلوک های مساوی تقسیم می کند و به ماشین های Slave تحویل می دهد. این سیستم فایل از طریق تکرار داده ها به مقابله با خطا می پردازد. چهارچوب MapReduce نیز یک مدل برنامه نویسی با هدف پردازش و تولید مجموعه ی عظیمی از داده ها فراهم می کند.