Hadoop: تفاوت میان نسخه‌ها
بدون خلاصۀ ویرایش |
Mobinranjbar (بحث | مشارکتها) بدون خلاصۀ ویرایش |
||
| (۵ نسخهٔ میانی ویرایش شده توسط ۳ کاربر نشان داده نشد) | |||
| خط ۱: | خط ۱: | ||
هادوپ یک سکوی نرم افزای متن باز می باشد که از طریق آن می توان بسادگی حجم بسیار بزرگی از داده ها را تحلیل و پردازش کرد. برای مثال، هادوپ می تواند برای کارهایی نظیر شاخص گذاری صفحات وب، داده کاوی، تحلیل فایل های log، یادگیری ماشین، تحلیل های مالی، شبیه سازی های علمی و یا تحقیقات در زمینه بیوانفورماتیک مورد استفاده قرار بگیرد. | هادوپ یک سکوی نرم افزای متن باز می باشد که از طریق آن می توان بسادگی حجم بسیار بزرگی از داده ها را ذخیره، تحلیل و پردازش کرد. برای مثال، هادوپ می تواند برای کارهایی نظیر شاخص گذاری صفحات وب، داده کاوی، تحلیل فایل های log، یادگیری ماشین، تحلیل های مالی، شبیه سازی های علمی و یا تحقیقات در زمینه بیوانفورماتیک مورد استفاده قرار بگیرد. | ||
== ویژگی ها == | == ویژگی ها == | ||
| خط ۷: | خط ۷: | ||
* '''کارآمدی:''' پردازش موازی داده ها و وجود یک سیستم فایل توزیع شده این امکان را فراهم می کند که بتوان با سرعت بیشتری داده ها را پردازش کرد. | * '''کارآمدی:''' پردازش موازی داده ها و وجود یک سیستم فایل توزیع شده این امکان را فراهم می کند که بتوان با سرعت بیشتری داده ها را پردازش کرد. | ||
* '''قابلیت اعتماد:''' چندین تکرار از داده ها می تواند ایجاد و در سطح کلاستر توزیع شود. در هنگام ایجاد خطا در یکی از نود ها، پلاتفرم می تواند بدون دخالت کاربر به سازماندهی مجدد بپردازد. در نتیجه، تصحیح خطا خودکار نیز امکان پذیر است. | * '''قابلیت اعتماد:''' چندین تکرار از داده ها می تواند ایجاد و در سطح کلاستر توزیع شود. در هنگام ایجاد خطا در یکی از نود ها، پلاتفرم می تواند بدون دخالت کاربر به سازماندهی مجدد بپردازد. در نتیجه، تصحیح خطا خودکار نیز امکان پذیر است. | ||
* '''سادگی:''' با هادوپ، نوشتن کدهای موازی کارا به سرعت و سهولت میسر است و جزئیات پردازش موازی، مانند توزیع داده میان گره‌های پردازشی، راه‌اندازی مجددِ زیر‌وظیفه‌های از کار‌افتاده، و ذخیره‌ی نتایج نهایی محاسبات در سیستم‌فایل، از دید کاربر پنهان می‌ماند . همچنین حتی دانشجوها هم می‌توانند به سرعت و با هزینه‌ی پایین برای خود یک خوشه هادوپ ایجاد کنند. | |||
== معماری هادوپ == | == معماری هادوپ == | ||
| خط ۱۴: | خط ۱۵: | ||
== روش های استقرار == | == روش های استقرار == | ||
هادوپ به چند شکل قابل استقرار است | سیستم فایل توزیع شده هادوپ (HDFS) و چهارچوب برنامه نویسی MapReduce که اجزای اصلی هادوپ را تشکیل می دهند مبین این هستند که هادوپ سیستمی است برای موازی سازی کارها وکارایی حقیقی آن در محیطی توزیع شده مشخص می گردد. با این حال در کارهای تست و توسعه همیشه فراهم آوردن چنین زیرساختی آسان نیست از این رو است که هادوپ به چند شکل قابل استقرار است. سه حالت نصب و راه اندازی مختلف برای هادوپ در نظر گرفته شده است، در حالت تک نوده یا عملکرد مستقل، شما می توانید روی یک نود (مثلا یک لپتاپ) هادوپ را نصب کنید. در حالت شبه توزیع شده نیز این امر میسر است با این تفاوت که هر یک از پردازه های هادوپ روی یک پردازه جاوای مستقل اجرا خواهند شد. حالت سوم هم وضعیت تمام توزیع شده آن می باشد که نصب در این حالت بر روی کلاستر خواهد بود. | ||
* [http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html Single Node Setup]: در این حالت چند روش عملکردی وجود دارد: Standalone، Pseudo-Distributed و Fully-Distributed | * [http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html Single Node Setup]: در این حالت چند روش عملکردی وجود دارد: Standalone، Pseudo-Distributed و Fully-Distributed | ||
| خط ۲۱: | خط ۲۲: | ||
یک مستند دیگر در خصوص ایجاد یک کلاستر هادوپ در [http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.0/bk_cluster-planning-guide/content/typical-hadoop-cluster-hardware.html اینجا] ارایه شده است. در این مستند به انواع بار کاری و مشخصات سخت افزاری و نرم افزاری اشاره شده است. | یک مستند دیگر در خصوص ایجاد یک کلاستر هادوپ در [http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.0/bk_cluster-planning-guide/content/typical-hadoop-cluster-hardware.html اینجا] ارایه شده است. در این مستند به انواع بار کاری و مشخصات سخت افزاری و نرم افزاری اشاره شده است. | ||
== کاربران و ارائه دهندگان سرویس هادوپ == | |||
در اثبات قدرتمندی و کارامدی هادوپ می توان بیان کرد که امروزه بسیاری از شرکتهای بزرگ و مطرح دنیا در حوزه فناوری اطلاعات و کلان داده از هادوپ برای ذخیره سازی و پردازش کلان داده های خود استفاده می نمایند که از جمله آنها می توان به گوگل، یاهو، فیسبوک، آمازون، linkedIn و IBM اشاره نمود. همچنین شرکت هایی همچون گوگل و آمازون و مایکروسافت سرویس های ابری هادوپ را در اختیار کاربران قرار می دهند. | |||
== نصب و راه‌اندازی == | == نصب و راه‌اندازی == | ||
* [[نصب در UBUNTU ]] | |||
* [http://hadoop.ir/howtoinstall/ نحوه نصب هدوپ به صورت تک گره به فارسی] | |||
* [http://hadoop.ir/multinodeinstallation/ نحوه نصب هدوپ به صورت چند گره به فارسی] | |||
== منابع مرتبط == | == منابع مرتبط == | ||
* [http://hadoop.ir/%D9%88%DB%8C%D8%AF%DB%8C%D9%88-%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%86%D8%B5%D8%A8-%D9%87%D8%AF%D9%88%D9%BEhadoop-%D8%A8%D9%87-%D8%B5%D9%88%D8%B1%D8%AA-multinode/ فیلم آموزشی فارسی نصب هدوپ به صورت چند گره بر روی سرور های واقعی] | |||
فیلم آموزشی در رابطه با آپاچی هادوپ که محصول شرکت CBT Nuggets می باشد. برای دانلود روی لینک زیر کلیک نمایید. | فیلم آموزشی در رابطه با آپاچی هادوپ که محصول شرکت CBT Nuggets می باشد. برای دانلود روی لینک زیر کلیک نمایید. | ||
[http://p30download.com/fa/entry/53338/ فیلم آموزشی هادوپ] | [http://p30download.com/fa/entry/53338/ فیلم آموزشی هادوپ] | ||
نسخهٔ کنونی تا ۱۵ سپتامبر ۲۰۱۵، ساعت ۱۱:۳۳
هادوپ یک سکوی نرم افزای متن باز می باشد که از طریق آن می توان بسادگی حجم بسیار بزرگی از داده ها را ذخیره، تحلیل و پردازش کرد. برای مثال، هادوپ می تواند برای کارهایی نظیر شاخص گذاری صفحات وب، داده کاوی، تحلیل فایل های log، یادگیری ماشین، تحلیل های مالی، شبیه سازی های علمی و یا تحقیقات در زمینه بیوانفورماتیک مورد استفاده قرار بگیرد.
ویژگی ها
سکوی هادوپ دارای ویژگی های زیر می باشد:
- مقیاس پذیری: توسط سکوی هادوپ این امکان وجود داردکه مجموعه داده هایی با حجمی در مقیاس چندین پتابایت داده را توسط توزیع داده ها در مقیاس چندین هزار نود در یک کلاستر را مدیریت و پردازش کرد.
- کارآمدی: پردازش موازی داده ها و وجود یک سیستم فایل توزیع شده این امکان را فراهم می کند که بتوان با سرعت بیشتری داده ها را پردازش کرد.
- قابلیت اعتماد: چندین تکرار از داده ها می تواند ایجاد و در سطح کلاستر توزیع شود. در هنگام ایجاد خطا در یکی از نود ها، پلاتفرم می تواند بدون دخالت کاربر به سازماندهی مجدد بپردازد. در نتیجه، تصحیح خطا خودکار نیز امکان پذیر است.
- سادگی: با هادوپ، نوشتن کدهای موازی کارا به سرعت و سهولت میسر است و جزئیات پردازش موازی، مانند توزیع داده میان گره‌های پردازشی، راه‌اندازی مجددِ زیر‌وظیفه‌های از کار‌افتاده، و ذخیره‌ی نتایج نهایی محاسبات در سیستم‌فایل، از دید کاربر پنهان می‌ماند . همچنین حتی دانشجوها هم می‌توانند به سرعت و با هزینه‌ی پایین برای خود یک خوشه هادوپ ایجاد کنند.
معماری هادوپ
معماری هادوپ یک معماری Master/Slave می باشد. در این معماری، بر روی ماشینی که به عنوان ماشین Master انتخاب می شود، سرویس هایی برای مدیریت و پیکربندی کل سیستم و مدیریت برنامه ها اجرا می شوند. همچنین در ماشین Master ابزارهایی برای مدیریت داده ها و تحویل برنامه به سیستم وجود دارد که کاربرانِ سیستم برای کار با هادوپ می توانند از آنها استفاده کنند. در ماشین Slave نیز سرویس هایی برای اجرای وظایفی که از سمت ماشین Master به آن ارسال می شود، به اجرا در می آیند.
سکوی هادوپ از دو قسمت اصلی تشکیل شده است که این قسمت ها شامل 1) سیستم فایل توزیع شده هادوپ (HDFS ) و 2) چهارچوب برنامه نویسی MapReduce می باشند. HDFS وظیفه ذخیره سازی و مدیریت داده ها در سیستم فایل را بر عهده داشته و داده های ورودی را به بلوک های مساوی تقسیم می کند و به ماشین های Slave تحویل می دهد. این سیستم فایل از طریق تکرار داده ها به مقابله با خطا می پردازد. چهارچوب MapReduce نیز یک مدل برنامه نویسی با هدف پردازش و تولید مجموعه ی عظیمی از داده ها فراهم می کند.
روش های استقرار
سیستم فایل توزیع شده هادوپ (HDFS) و چهارچوب برنامه نویسی MapReduce که اجزای اصلی هادوپ را تشکیل می دهند مبین این هستند که هادوپ سیستمی است برای موازی سازی کارها وکارایی حقیقی آن در محیطی توزیع شده مشخص می گردد. با این حال در کارهای تست و توسعه همیشه فراهم آوردن چنین زیرساختی آسان نیست از این رو است که هادوپ به چند شکل قابل استقرار است. سه حالت نصب و راه اندازی مختلف برای هادوپ در نظر گرفته شده است، در حالت تک نوده یا عملکرد مستقل، شما می توانید روی یک نود (مثلا یک لپتاپ) هادوپ را نصب کنید. در حالت شبه توزیع شده نیز این امر میسر است با این تفاوت که هر یک از پردازه های هادوپ روی یک پردازه جاوای مستقل اجرا خواهند شد. حالت سوم هم وضعیت تمام توزیع شده آن می باشد که نصب در این حالت بر روی کلاستر خواهد بود.
- Single Node Setup: در این حالت چند روش عملکردی وجود دارد: Standalone، Pseudo-Distributed و Fully-Distributed
- Cluster Setup
- CLI MiniCluster
یک مستند دیگر در خصوص ایجاد یک کلاستر هادوپ در اینجا ارایه شده است. در این مستند به انواع بار کاری و مشخصات سخت افزاری و نرم افزاری اشاره شده است.
کاربران و ارائه دهندگان سرویس هادوپ
در اثبات قدرتمندی و کارامدی هادوپ می توان بیان کرد که امروزه بسیاری از شرکتهای بزرگ و مطرح دنیا در حوزه فناوری اطلاعات و کلان داده از هادوپ برای ذخیره سازی و پردازش کلان داده های خود استفاده می نمایند که از جمله آنها می توان به گوگل، یاهو، فیسبوک، آمازون، linkedIn و IBM اشاره نمود. همچنین شرکت هایی همچون گوگل و آمازون و مایکروسافت سرویس های ابری هادوپ را در اختیار کاربران قرار می دهند.
نصب و راه‌اندازی
منابع مرتبط
فیلم آموزشی در رابطه با آپاچی هادوپ که محصول شرکت CBT Nuggets می باشد. برای دانلود روی لینک زیر کلیک نمایید.