OCCC Wiki - مشارکت‌های کاربر [fa]

پروژه پژوهشی - Big Data

2015-03-06T09:12:58Z

Dsalehi: /* روشهای جستجوی داده */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop شرکت آپاچی [5] ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

* این فایل سیستم که توسط گروه تولید نرم افزار Apache تولید شده است علاوه بر قابلیت توزیع داده انعطاف بالایی در مورد خطا داشته و همچنین قابلیت ارا بر روی سخت افزارهای بسیار ارزان را دارد

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [5] ==
* امروزه ذخیره سازی و مدیریت داده ها به شکل فزاینده ای به موضوع مهم محافل علمی دنیا تبدیل شده است، همچنین افزایش تراکم وکاهش قیمت فلش های NAND باعث تمایل به بهره‌مندی از این فناوری در دانشگاهها و شرکت های پیشرو فناوری شده است ، تراشه‌های فلش معمولادر درایوهای SSD جاگذاری میشوند

== روشهای جستجوی داده ==
=== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [6] ===
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

=== NoSQL Databases ===

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [7] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*7) http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T09:11:44Z

Dsalehi:

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop شرکت آپاچی [5] ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

* این فایل سیستم که توسط گروه تولید نرم افزار Apache تولید شده است علاوه بر قابلیت توزیع داده انعطاف بالایی در مورد خطا داشته و همچنین قابلیت ارا بر روی سخت افزارهای بسیار ارزان را دارد

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [5] ==
* امروزه ذخیره سازی و مدیریت داده ها به شکل فزاینده ای به موضوع مهم محافل علمی دنیا تبدیل شده است، همچنین افزایش تراکم وکاهش قیمت فلش های NAND باعث تمایل به بهره‌مندی از این فناوری در دانشگاهها و شرکت های پیشرو فناوری شده است ، تراشه‌های فلش معمولادر درایوهای SSD جاگذاری میشوند

== روشهای جستجوی داده ==
=== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [6] ===
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [7] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*7) http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T09:09:03Z

Dsalehi: /* ساخت سیستم های ذخیره سازی مبتنی بر فلش [5] */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop شرکت آپاچی [5] ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

* این فایل سیستم که توسط گروه تولید نرم افزار Apache تولید شده است علاوه بر قابلیت توزیع داده انعطاف بالایی در مورد خطا داشته و همچنین قابلیت ارا بر روی سخت افزارهای بسیار ارزان را دارد

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [5] ==
* امروزه ذخیره سازی و مدیریت داده ها به شکل فزاینده ای به موضوع مهم محافل علمی دنیا تبدیل شده است، همچنین افزایش تراکم وکاهش قیمت فلش های NAND باعث تمایل به بهره‌مندی از این فناوری در دانشگاهها و شرکت های پیشرو فناوری شده است ، تراشه‌های فلش معمولادر درایوهای SSD جاگذاری میشوند

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [6] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [7] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*7) http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T08:58:06Z

Dsalehi:

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop شرکت آپاچی [5] ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

* این فایل سیستم که توسط گروه تولید نرم افزار Apache تولید شده است علاوه بر قابلیت توزیع داده انعطاف بالایی در مورد خطا داشته و همچنین قابلیت ارا بر روی سخت افزارهای بسیار ارزان را دارد

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [5] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [6] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [7] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*7) http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T08:47:00Z

Dsalehi: /* فایل سیستم توزیع شده hadoop */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

* این فایل سیستم که توسط گروه تولید نرم افزار Apache تولید شده است علاوه بر قابلیت توزیع داده انعطاف بالایی در مورد خطا داشته و همچنین قابلیت ارا بر روی سخت افزارهای بسیار ارزان را دارد

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T08:43:12Z

Dsalehi: /* فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
* یک فایل سیستم چند منظوره مبتنی بر زبان پرس و جو (NFQL) میباشد ، با تجزیه وتحلیل انجام شده روی ترافیک برنامه های کاربردی و ایجادشاخص قابلیت مقیاس پذیری بالا و قدرتمند را برای فیلتر داده فراهم میکند.

=== فایل سیستم توزیع شده hadoop ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T08:34:53Z

Dsalehi: /* فایل سیستم توزیع شده hadoop */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
=== فایل سیستم توزیع شده hadoop ===
[[پرونده:Hadoop 92231548.jpg|قاب|وسط]]

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پرونده:Hadoop 92231548.jpg

2015-03-06T08:33:38Z

Dsalehi:

پروژه پژوهشی - Big Data

2015-03-06T08:32:54Z

Dsalehi:

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data ==
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
=== فایل سیستم توزیع شده hadoop ===

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T08:31:28Z

Dsalehi:

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستمهای متناسب Big Data
=== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ===
=== فایل سیستم توزیع شده hadoop ===

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T07:56:07Z

Dsalehi: /* حافظه حالت جامد Solid state Memory */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهای حالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
*

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-06T07:51:39Z

Dsalehi: /* Helium drives */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شرکت فوق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
*

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پرونده:A New Exploration to Build Flash-based Storage Systems by Co-Designing File System.pdf

2015-03-06T04:01:15Z

Dsalehi:

پرونده:VSFS-A Searchable Distributed File System.pdf

2015-03-06T03:59:05Z

Dsalehi:

پرونده:Storage Challenge-Where Will All That Big Data Go .pdf

2015-03-06T03:57:11Z

Dsalehi:

پروژه پژوهشی - Big Data

2015-03-06T01:47:24Z

Dsalehi: /* مقدمه */

== چکیده ==
* Big Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موجود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مبارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
*

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-03-05T22:09:27Z

Dsalehi: /* فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 */

== چکیده ==
* Bih Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
*

== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پرونده:Salehi swot.png

2015-02-26T20:28:36Z

Dsalehi: Dsalehi نسخه جدیدی از «پرونده:Salehi swot.png» را بارگذاری کرد

پرونده:Salehi swot.png

2015-02-26T19:47:22Z

Dsalehi: Dsalehi نسخه جدیدی از «پرونده:Salehi swot.png» را بارگذاری کرد

پرونده:Salehi swot.png

2015-02-26T19:42:28Z

Dsalehi: Dsalehi نسخه جدیدی از «پرونده:Salehi swot.png» را بارگذاری کرد

پرونده:Salehi swot.png

2015-02-26T19:40:24Z

Dsalehi: Dsalehi نسخه جدیدی از «پرونده:Salehi swot.png» را بارگذاری کرد

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-26T19:32:59Z

Dsalehi: /* تحلیل رقبا */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

[[پرونده:Nesbat1.png||وسط|قاب|نسبت سهم بیمه در ایران و جهان]]
* MENA : دسته بندی جهانی بیمه
<big>بیمه های موجود عموما به چهار دسته تقسیم میشوند</big>
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
[[پرونده:Salehi swot.png|وسط|نمودار SWOT]]

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-26T19:32:10Z

Dsalehi: /* تحلیل رقبا */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

[[پرونده:Nesbat1.png||وسط|قاب|نسبت سهم بیمه در ایران و جهان]]
* MENA : دسته بندی جهانی بیمه
<big>بیمه های موجود عموما به چهار دسته تقسیم میشوند</big>
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
[[پرونده:Salehi swot.png|قاب|وسط|نمودار SWOT]]

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

پرونده:Salehi swot.png

2015-02-26T19:29:08Z

Dsalehi:

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-21T07:47:43Z

Dsalehi: /* تحلیل صنعت بیمه */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

[[پرونده:Nesbat1.png||وسط|قاب|نسبت سهم بیمه در ایران و جهان]]
* MENA : دسته بندی جهانی بیمه
<big>بیمه های موجود عموما به چهار دسته تقسیم میشوند</big>
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-21T07:46:14Z

Dsalehi: /* تحلیل صنعت بیمه */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

[[پرونده:Nesbat1.png||وسط|قاب|نسبت سهم بیمه در ایران و جهان]]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-21T07:43:09Z

Dsalehi: /* تحلیل صنعت بیمه */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

<gallery>
پرونده:Nesbat1.png|عنوان ۱
</gallery>

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

پرونده:Nesbat1.png

2015-02-21T07:41:09Z

Dsalehi:

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-21T07:39:21Z

Dsalehi: /* تحلیل صنعت بیمه */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت بیمه یار با ارائه کلیه خدمات بیمه‌ای شرکت مادر(بطور مثال بیمه آسیا) طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود را دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود داشته باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند ،ارائه اطلاعات مفید و بروز پیوسته در سایت باعث بازدید افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

=== راه اندازی یک سایت ===
وب سایت بیمه می تواند خدمات بیمه ای خود را که شامل صدوربیمه نامه، مشاوره در زمینه آن و ارائه آن بصورت آنلاین در سایت گذاشته یعنی شرکت بیمه با طراحی سایت بیمه می تواند بیمه نامه آنلاین صدور نماید و همچنین پرداخت حق بیمه آنلاین را به مشتریان و کاربران خود ارائه دهد.مدیریت قسطی کردن حق بیمه از دیگر امکاناتی است که شرکت بیمه با طراحی سایت بیمه می تواند به آن دست یابد. نمایندگان بیمه با طراحی سایت بیمه به راحتی می توانند بصورت آنلاین با صدور بیمه اتومبیل – بیمه های مسئولیت – بیمه اشخاص- بیمه های مهندسی – بیمه های آتش سوزی – بیمه های باربری خدمات خود را عرضه نمایند.مشتریان نیز از خدمات طراحی سایت بیمه بی نصیب نخواهند ماند . می توانند استعلام بیمه نامه خود را انجام دهند. استعلام قیمت بیمه نامه یکی از پرکاربردترین کاربردهای طراحی سایت بیمه و می باشد.

طراحی وب سایت بیمه برای شرکت های بیمه یکی فعالیت های لازم و حیاتی آنها است. طراحی وب سایت بیمه برای شرکت های بیمه باعث راحتی در امور اجرایی صدور و ارائه انواع بیمه نامه ها شده است. بیمه تامین اجتماعی در طراحی وب سایت بیمه و پرتال اصلی خود یکی از اصلی ترین خدماتش ارائه سوابق بیمه به بیمه شدگانش می باشد. با طراحی وب سایت بیمه نمایندگی ها میتوانند اکثر عملیاتی که بروی کاغذ انجام میگردد را حذف کنند و در زمان و هزینه صرفه جویی نمایند.

برای مطالعه بیشتر به وب سایت [http://sitedesignco.net/fa/SiteDesignDetails/2116/%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%A8%DB%8C%D9%85%D9%87.html گروه مهندسی لبخند] مراجعه نمایید .

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
*صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که دراین جوامع موجود است بیمه از حالت پوشش ضرر به مرحله اینده نگری و آرامش دوران بازنشستگی رسیده است به تعبیر دیگر در دولتهای پیشرو اقتصاد بحث بر سر سلامت و امنیت غذایی نیست بلکه استفاده از حداکثر مواهب زندگی در دوران بازنشستگی میباشد و این مهم بدست نخواهد آمد الا اینکه شما فرصت آینده نگری را داشته باشید دراینجا است که متغیر هدف از انواع بیمه خسارت به سوی بیمه اشخاص گسیل شده است متاسفانه این نوع رویکرد بنابر شرایط اقتصادی ،مشکلات معیشتی ،عدم آینده نگری ، و نداشتن دید درست نسبت به موضوع بیمه مغفول مانده است در تحقیقات مختلفی که در سطح بازار انجام شده این نکته به وضوح پیداست که تبه بیمه اشخاص بسیار در کشور ما چه از نظر درصد بیمه ها و جه ازمنظر جهانی در رتبه پایینی قرار گرفته است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

پروژه پژوهشی - Big Data

2015-02-19T21:56:26Z

Dsalehi: /* چکیده */

== چکیده ==
* Bih Data به عنوان یکی از جدید ترین چالشهای فن آوری IT در حال حاضر مطرح می باشد، از زمانی که داده توسط عوامل مختلف تولید میشود یکی از مهمترین مباحث اینست که این داده در کجا ذخیره گردد ،در چه محلی مورد جستجو قرار گیرد ، با چه ترفندی جستجو هدفمند شود، چه توان محاسباتی در اختیار است و چگونه بهینه استفاده گردد . ما در این بحث با استفاده از مقالات معتبر بر انیم که مسیر حرکت فن آوری را بررسی نماییم و تازه های سخت افزار و روش های محاسباتی را به اشتراک بگذاریم.

== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:46:11Z

Dsalehi:

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
== ساخت سیستم های ذخیره سازی مبتنی بر فلش [4] ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:40:47Z

Dsalehi: /* پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [4] */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [5] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:40:31Z

Dsalehi: /* منابع */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [4] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*5) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:37:27Z

Dsalehi:

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== فایل سیستم چند منظوره با قابلیت جستجوی بالا -[Versatile Searchable File System (VSFS) [3 ==
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [4] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:28:41Z

Dsalehi: /* منابع */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [4] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:28:11Z

Dsalehi: /* پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [3] */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [4] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*4) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:27:45Z

Dsalehi: /* پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص [3] ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*4) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:27:21Z

Dsalehi: /* چالش محیط ذخیره سازی [3] */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [2] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*4) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:26:52Z

Dsalehi: /* 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [3] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [6] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*4) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:26:28Z

Dsalehi: /* منابع */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [3] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*3) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*4) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*5) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE
*6 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies

پروژه پژوهشی - Big Data

2015-02-19T21:25:27Z

Dsalehi: /* چالش محیط ذخیره سازی */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی [3] ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies
*3) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*6) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE

پروژه پژوهشی - Big Data

2015-02-19T21:23:47Z

Dsalehi: /* پردازش موازی در جستجوی کلید مورد نظر در محیط نامشخص */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== پردازش موازی جستجوی کلید مورد نظر در محیط نامشخص ==
* XML به صورت طبیعی برای بیان داده هایی بکار میرود که یک عدم قطعیت در آن موجود است. برایبهبود کارایی کلید جستجو در این محیط نامشخص ،ما از یک مدل دیویی برای Indexing عناصر XML استفاده میکنیم که یک روش رمز گذاری مبتنی بر پیشوند است ،شما وقتی با یک داده بزرگ کارمیکنید که طول عناصر کد دیویی آن هم بزرگ می باشدبه طور ملموسی بهره وری پایینی از روابط بین عناصر حادث خواهد شد که احتیاج به فضای ذخیره سازی بزرگ بوجود می‌آید . بنابراین داده های بزرگ و پیپیده شما دچار تنگنامی گردد در اینجاست که باید با استفاده از ترکیب مدیریت داده ها (partition) و استفاده از پردازش موازی اطلاعات را در زمان مناسب استخراج کرد . قطعات مختلف XML در شبکه های توزیع شده ذخیره میشود و امکان پردازش موازی به روش (SLCAs) یافتن کوچکترین ،پایینترین ، ریشه مشترک ارتباط را فراهم کرده و خروجی بالاترین احتمال درستی را دارد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies
*3) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*6) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE

پروژه پژوهشی - Big Data

2015-02-19T21:03:37Z

Dsalehi:

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===
== پردازش موازی در جستجوی کلید مورد نظر در محیط نامشخص ==
== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies
*3) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*6) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE

پروژه پژوهشی - Big Data

2015-02-19T20:36:51Z

Dsalehi: /* چالش محیط ذخیره سازی */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.
=== ذخیره سازی ابری Cloud storage ===
=== ذخیره سازی موضوعی Object storage ===
=== مسیر و توان انتقال داده Data buses ===
=== منبع ذخیره نوری Optical storage ===
=== موانع ذخیره سازی STORAGE BARRIERS ===

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies
*3) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*6) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE

پروژه پژوهشی - Big Data

2015-02-19T20:31:43Z

Dsalehi: /* حافظه حالت جامد Solid state Memory */

== چکیده ==
== مقدمه ==
* در چند سال اخیر به علت رشد روز افزون تولید داده های مختلف (به دلیل ابزار IT و همچنین ایجاد شبکه های اجتماعی و دیگر موضوعات ) فعالان اقتصادی و سیاسی و امنیتی را بر آن داشته که بتوانند با تجزیه و تحلیل این داده ها اطلاعات موچود از قبیل رفتار مشتریان اقتصادی - کنشهای اجتماعی - مارزه با تروریسم و غیره را بدست آورند اما یک معضل اصلی نگهداری این حجم عظیم داده و همچنین بررسی این داده ها و ارتباط بین انها نیاز به عوامل فنی را اتناب ناپذیر مینماید سوالهای متداول که در اینجا وجود دارد اینست که
* 1) داده ها در چه محل فیزیکی ذخیره شوند
* 2) چه تغییراتی در فایل سیستم ها و بانکهای اطلاعاتی انجام گردد
* 3) چگونه از پردازش موازی در تحلیل داده سود ببریم
* 4) روشهای جستجو و شاخص بندی بین این داده های ساخت نیافته چگونه ایجاد شود
* 5) ایجاد ابزار مناسبی که بتواند ارتباط بین سوالهای فوق را ایجاد کند
* در اینجا بنا داریم با استفاده از منابع موجود مسیر تولید علم در Big Date را بررسی نماییم.

== داده‌هاي عظیم چیست ==
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌هاي عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد. حجم داده‌هاي ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است، به طوری که در هر روز، 2,5 کوادریلیارد بایت (هر کوادریلیارد برابر 1027 است) داده در حال تولید است. نکته جالب توجه در این زمینه آن است که 90 درصد داده‌هايي که اکنون در اختیار ما است، تنها در 2 سال اخیر تولید شده است! -- [1]
== چالش محیط ذخیره سازی ==
*اطلاعات بزرگ در محیط فناوری اطلاعات فرصت های هیجان انگیز زیادی برای سازمان ها ایجاد کرده است،اماآنها اول باید تصمیم بگیرند این مجموعه عظیم اطلاعات در کجا باید نگهداری شود.
=== رشد داده ها به عبارتی سیل افزایش داده ها ===
*یک تحقیق بازار توسط شرکت آبردین نشان میدهد که رشد داده به طور متوسط حدود 35 درصد سالانه در سال های اخیر میباشد براساس این برآورد تقریبا درهر 2 سال نیاز است فضای ذخیره سازی 2 برابر شود بنابراین این یک مشکل بزرگ خواهد بود که سازمان با این سونامی اطلاعات چه کند. تکنولوژی محیط ذخیره سازی هم در آینده نزدیک برای این مسئله راه حلی ندارد ، از طرفی نیازهای جدید اطلاعات که درخواست داده های تا 15 سال قبل را دارند بنابراین باید فناوری های پیشتاز ذخیره سازی در توسعه ظرفیت نگهداری داده کارهای اساسی انجام دهند
*'''ابر ذخیره سازی''' ُCLOUD Storage بواسطه انعطاف پذیری در مقیاس رشد زیر ساخت مناسبی می باشد.
* راه کار موجود برای افزایش سرعت دسترسی از طریق (solid-state drives (SSD قابل حصول است.
با این حال، تلاش برای کنار آمدن با حجم رو به رشد داده با چالش روبرو خواهد شد.
==== توسعه کسب و کار====
از دلایل اصلی که چرا داده حجم در حال افزایش است میتوان به کسب و کار های جدید مانند برنامه های کاربردی موبایل. بیش دستگاه های متصل به اینترنت. و منابع آنلاین بیشتر از اطلاعات، مانند رسانه های اجتماعی اشاره نمود که باعث ایجاد کانال های بیشتری را برای جمع آوری داده ها از مشتریان میشود ، که بعضی از اینها بر اساس توافقات بین شرکای تجاری نیز به اشتراک گذاشته میشوند

==== نیاز به تجزیه تحلیل بازار ====
با توجه به بررسی کومار اینتل، بسیاری از شرکت ها جمع آوری داده ها برای تجزیه و تحلیل برای کمک به افزایش مکارایی محصولات خود و یا به دست آوردن مزیت رقابتی بازار و همچنین استفاده از دستگاه تولید داده ایجاد شده توسط منابع مانند سنسور به جهت رفتار سنجی مشتریان را مدنظر قرار داده‌اند

==== داده های بدون ساختار ====
مقدار اطلاعات بدون ساختار به سرعت در حال افزایش است. در این مورد میتوان به داده های ویدیو کیفیت بالا و تصاویر گرفته شده توسط دستگاه های تلفن همراه با دوربین که روزانه در حال افزایش است ، اشاره کرد

=== مقابله با سیل داده ها ===
* چندین روش برای مقابله با این حجم داده وجود دارد، ابزاری مثل Apache Hadoop میتوانند به این رشد داده و اطلاعات ذخیره شده کمک نمایند، در این مورد Currie Munce معاون مدیر تولید دیسکهای SDD شرکت HGST میگوید " Hadoop یک نرم افزار متن باز است که به شما اجازه میدهد با یک نرم افزار ساده از طریق دسته های داده به وسیله پردازش خوشه ای از داد ها استفاده نمایید " .
* کومار از شرکت اینتل : " فن اوری های جدید کارایی را با از بین بردن افزونگی داده و همچنین فشرده سازی داده افزایش داده اند "
* به علاوه ، تغییرات فن آوری محیط ذخیره سازی به سرعت در حال ظهور میباشد ،برای مثال میتوان از ترکیب چند سرور با هزینه پایین و ارتباط نودهای آن به صورت انعطاف پذیر(در طول زمان به حجم و گنجایش آن افزود ) یک انباره داده ایجاد نمود.

=== دیسک سخت ===
*دیسک سخت حداقل تا سال 2020 به عنوان اولین محیط ذخیره سازی جایگه خود را حفظ خواهد کرد ، دیسک در حال حاضر به عنوان اصلی ترین و ارزان و سهل الوصول ترین را ذخیره سازی داده مورد اتکا است . پروفسور استیون سوانسون استاد دانشگاه سن دیه گو کالیفرنیا، (UCSD) : " دیسک سخت یک مزیت غیر قابل بحث از نظر هزینه نگهداری برای هر بیت حجم داده دارد ، هیچ افق روشنی برای جابجایی تکنولوژی دیگر به جای دیسک سخت وجود ندارد" تولید کنندگان این محصول نیز از گذشته در فکر و اجای افزایش ظرفیت دیسک سخت میباشند.
* کومار میگوید ظرفیت دیسکهای سخت در سال 2014 به 5 ترابایت خواهد رسید این ظرفیت در سال 2013 4 ترابایت است. سه روش جدید ذخیزه سازی داده در حال معرفی میباشند.
==== Nanolithography ====
* در این فن آوری با استفاده از نانو تکنولوژی شبیه لیتوگافی عمل کرده و حجم ذخیره روی دیسک 2 نوآوری افزایش پیدا می کند. Nanoimprinting and molecular self-assembly با ایجاد سلولهای ذخیره کوچکتر باعث افزایش تراکم ناحیه ای روی دیسک به دو برابر میشود.

==== Helium drives ====
* HGST تا پایانسال 2013 قرار است اولین دیسک خود را که به جای هوا داخل آن با گاز هلیوم پر میشود را ارائه نماید این عمل باعث کاهش حرکت روی پلاتر(حلقه) دیسک میگردد ، بنابراین هر دیسک به جای 6 صفحه میتواند شامل 7 صفحه گردد ، کاهش بار مکانیکی باعث افزایش کارایی و راندمان نوشتن بیتها در کنار هم میگردد بنا بر نظر تحلیل گر شکت فق در این صورت افزایش ظرفیت 25% تا 50% را خواهیم داشت ، علاوه بر این کاهش 23% مصرف انرژی ازدیگر مزیت این فنآوی می باشد. IHS در این مورد پیش بینی کرده فروش دیسکهای هلیوم تا آخر سال 2016 به رقم 100 میلیون خواهد رسید.

==== (Heat-assisted magnetic recording (HAMR ====
* HAMR آخرین دستاورد در حال تولید دیسک است که قابلیت افزایش ظزفیت ذخیره سازی را دارد . این روش از لیزر جهت پایداری بال در ابزارذخیره سازی استفاده میکند . این دیسکها از آلیاژ آهن و پلاتین و سایر آلیاژ هایی که قادر به ذخیره سازی بیشری ازمواد فعلی هستند ساخته شده اند ، اما اینمواد بایستی گرم شوند تا بتوانند به حدکافی برای ذخیره داده مغناطیسی گردند . در آزمایشگاه شرکت seagate با استفاده از فنآوری HAMR توانایی ذخیره سازی 1TB روی هر اینچ مربع بدست آمده است در صورتی که این فضا در حال حاضر 620GB رابیشتر ذخیره نمیکند و این به معنی 60% رشد ذخیره سازی در یکواحد را حاصل می کند . شرکت seagate پیش بینی ظرفیت 6TB در آینده نزدیک و 60TB در محصولات تولیدی سال 2016 بر پایه فن آوری HAMR را دارد.
=== حافظه حالت جامد Solid state Memory ===
یکچالش بزرگ درکارکردبا داده های بزرگ برای سازمانها سرعت کار با این حجم داده می باشد. دیسکهایحالت جامد SSD از این جهت که شامل ابزارمکانیکی نیستند میتواند با سرعت بالاتری دسترسی به داده رافراهم نماید(البته این دیسکها به علت هزینه بالا و تخریب سریع به علت تعداد نوشتن محدود ) که بیشتر برای خواندن داده مورد استفاده قرار می گیرند . به تعبیری این حافظه کارگری مفید در خدمت داده های بزرگ ی باشند. بهره وری استفاده از SSD بیشتر برای داده های نامنظم از قبیل شبکه های اجتماعی می باشد. SSD تقریبا از نظر قیمت 10 برابر دیسکهای معمولی هزینه خواهد داشت اما با این حال وقتی ظرفیت آن افزایش یابدمشتری خود را بدست می آورد . محققین در حال کار بر روی تکنیکهای جدید 3D برای ارتقای ظرفیت ذخیره ساز SSD هستند. که اعلام شده اولین محصول 3D NAND در سال 2015 به بازار خواهد آمد .گروه دیگر از فروشندگان حافظه مثل توشیبا وSanDisk روی حافظه مبتی بر ReRam درحال فعالیتمی باشند. ReRam بر مبنای اعمال یک جریان الکتریکی بر روی مواد کار میکند این مقاومت باعث میشود بتوان داده های باینری را روی سطح خواند و یانوشت.
* شرکتهای در حالتحقیق امیدوارند که این محصول بین سالهای 2017 - 2018 عمومی گردد.

== 10 دسته بندی اول منابع و فن آوری استخراج دادهای بزرگ [2] ==
=== Social network profiles ===
=== Social influencers ===
=== Activity-generated data ===
=== Software as a Service (SaaS) and cloud applications ===
=== Public ===
=== Hadoop MapReduce application results ===
=== Data warehouse appliances ===
=== Columnar/NoSQL data sources ===
=== Network and in-stream monitoring technologies ===
=== Legacy documents ===

== منابع ==
*1 ) ماهنامه شبكه شماره 133 با عنوان جنبش NoSQL
*2 )http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies
*3) Storage Challenge : Where Will All That Big Data Go? :Neal Leavitt : 2013 IEEE
*4) Parallel Processing the Keyword Search in Uncertain Environment : Bo Ning, Xiaoping Zhou, Yimin Shi : 2012 IEEE
*5) VSFS: A Searchable Distributed File System : Lei Xu,Ziling Huang ,Hong Jiang, Lei Tian, David Swanson :2014 IEEE
*6) A New Exploration to Build Flash-based Storage Systems by Co-Designing File System and FTL: Wenwei Qiu, Xiang Chen, Nong Xiao, Fang Liu, Zhiguang Chen : 2013 IEEE

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-12T04:38:33Z

Dsalehi: /* تحلیل صنعت خود */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت با ارائه کلیه خدمات بیمه‌ای شرکت مادر طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند از اینرو ارائه اطلاعات مفید و بروز پیوسته در سایت باعث عبور افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل کارگزاری بیمه ==
* صنعت بیمه به عنوان یکی از تضامین پایداری تجارت جایگاه خود را در بازار کشورهای پیشرفته یافته است و حتی با حالت پایداری اقتصاد که در این جوامع موجود است

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-12T03:32:35Z

Dsalehi: /* معرفی محصولات و خدمات */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] ، [http://www.hampad.ir/fa همپاد] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت با ارائه کلیه خدمات بیمه‌ای شرکت مادر طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند از اینرو ارائه اطلاعات مفید و بروز پیوسته در سایت باعث عبور افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل صنعت خود ==
صنعت بیمه به عنوان یکی از تضامین

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-12T03:30:44Z

Dsalehi: /* ماموریت */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==
مأموریت ما تأمین امنیت و تسهیل روش كار و زندگی مردم به منظور ارتقای آرامش خاطر آنهاست. ما، مأموریت خود را از طریق آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه پیاده سازی راه حلهای جامع و یكپارچه در حوزه صنعت بیمه برای مشتریان و همچنین خلق راهكارهای هوشمندانه برای آنها انجام می دهیم.

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان و آسودگی خاطر آنهاست ،بیمه یار با آموزش، مشاوره، مدیریت ریسك، شناسایی نیازها و ارائه مسیر پیاده سازی نیاز، صدور و پیگیری انواع بیمه نامه با هوشمندی تضمین امنیت مالی بیمه گزاران را دنبال مینماید. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت با ارائه کلیه خدمات بیمه‌ای شرکت مادر طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند از اینرو ارائه اطلاعات مفید و بروز پیوسته در سایت باعث عبور افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل صنعت خود ==
صنعت بیمه به عنوان یکی از تضامین

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-12T03:26:25Z

Dsalehi: /* تحلیل صنعت خود */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان به عنوان یاور فعالیت تجاری آنها - صدور و پیگیری انواع بیمه نامه میباشد. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت با ارائه کلیه خدمات بیمه‌ای شرکت مادر طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند از اینرو ارائه اطلاعات مفید و بروز پیوسته در سایت باعث عبور افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل صنعت خود ==
صنعت بیمه به عنوان یکی از تضامین

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.

خدمات مشاوره ای مالی و بیمه ( بانک - بیمه - بورس )

2015-02-12T03:06:21Z

Dsalehi: /* بيمه اعتبار تضمين Credit insurance and Guarantee */

* داود صالحی
* دانشجوی کارشناسی ارشد رشته مهندسی فن آوری اطلاعات(IT)، گرایش تجارت الکترونیکی دانشگاه امیر کبیر - ورودی بهمن 92

== خلاصه اجرایی ==
*در دنیای امروز و شرایطی که ما در آن بسر میبریم,مردم نیاز به خدمات بانکی,مالی و بیمه دارند. فردی را در نظر داشته باشید؛ که در یک جامعه مدرن با انواع مشکلات - از دست رفتن شغل - بیماری - ریسک فعالیت تجاری - بلایای طبیعی و ... دست به گریبان است ولیکن به دلیل عدم اشنایی با راهکارهای موجود و یا عدم اشراف به فواید استفاده از خدمات این راهکار دچار خسارت مادی و روحی یا عدم انتفاع می گردد.
از طرفی به دلیل هزینه های اولیه و یا نبود تمرکز اطلاعاتی در مورد انواع خدمات مردم به سوی این خدمات نمی روند.
شرکت ما قرار است با استفاده از توان فنی مشاورین اشنا به خدمات پولی و بیمه ای بدون دریافت وجه – انواع خدمات موجود را با جمع اوری از سایت ها و بخشنامه های داخلی موسسات مالی – بیمه را معرفی نماید.
بدیهی است که در این زمینه با قرارداد مالی که با موسسات بیمه ای منعقد می نماید . تا پس از ارائه مشاوره وجلب نظر مشتری بتواند از یکی از درگاه های ایجاد شده با اخذ پورسانت از سرویس دهنده ها اقدام به معرفی مشتری به انها نمایید . با توجه به خالی بودن جای این چنین خدماتی با تبلیغ مناسب و همچنین با دارا بودن بانک اطلاعاتی کامل در مدت زمان بین یک تا دو سال میتوان در صد ارجاع به این سایت را به سرعت بالا برد .
شرکت برای راهنمایی لازم علاوه بر داشتن متخصصین کافی در حیطه کاری (بانک – بیمه ) از ساختار مناسب حقوقی – فنی توانا برای جلوکیری از کلاهبرداری – سرقتهای اینترنتی یا تخریب سایت بر خوردار باشند . همچنین کارشناسان بازار یابی و قرارداد امور مربوط به انعقاد قرارداد با سازمان ها برای معرفی انها وهمچنین تبادل داده را پیگیری می نماید .

== معرفی شرکت (تصویر شرکت) ==
* شرکت ما به دلیل طرح در نظر گرفته شده '''بیمه یار''' نامیده میشود.
* شعار تبلیغی در نظر گرفته شده ''' فکر نو و دستان گرم ما حامی سرمایه شما '''
* با توجه به عدم تاسیس این قسمت در آینده تکمیل می‌گردد

== چشم انداز ==
شرکت بیمه یار به عنوان یک شرکت مشاور و راهنما با جمع تخصص و تجربه اهداف زیر را دنبال مینماید
* رسیدن به هزینه سربه سری در پایان سال اول
* به دست آوردن تعداد 20000 کاربر مستمر به عنوان بازدید کنندگان اخبار سایت در سال دوم
* %20 از درآمد شرکت از تبلیغات بدست آید در سال سوم
* از ابتدای سال چهارم در صورت تحقق اهداف و به دست آوردن توان مالی لازم بخش بورس فعال خواهد شد
* %30 از درآمد شرکت از ارجاع مراجعین به شکتهای همکار حاصل میگردد در سال چهارم (واسطه گری)
* کسب سهم 1% بازار صدور بیمه در شهر تهران و کرج در سال پنجم

== ماموریت ==

مأموريت شرکت بیمه یار فراهم كردن خدمات الکترونیکی جهت ارایه راهکار و جلب اعتماد مشتریان به عنوان یاور فعالیت تجاری آنها - صدور و پیگیری انواع بیمه نامه میباشد. شرکت بیمه یار خود را موظف به پاسخگویی به تمامی مراجعین میداند

== اهداف ==
=== اهداف پرسنلی ===
* شرکت بایستی پس از مرحله گذار 2 ساله بر اساس ارتقاء مالی بتواند حداقل 5 نفر کارمند رسمی در بخش مالی و بیمه داشته باشد.
* شرکت بایستی پس از مرحله گذار 2 ساله در خصوص بخش فنی سایت و محتوی متکی به نیروهای فنی خود باشد.
=== اهداف مالی ===
* شرکت باید پس از سال اول که به هزینه اجرایی دست می یابد در 5 سال اول رشد متوسط 20% سالانه را تجربه نماید
* شرکت در پایان سال سوم کاملا از پشتیبانی سرمایه گذاران خودکفا شده و به تراز مثبت و سود آوری میرسد
* پرسنل شرکت به عنوان بالاترین سرمایه باید از نظر مالی تامین و مخصوصا در مرحله شروع به عنوان سرمایه گذار صاحب سهام شرکت گردند.

== معرفی محصولات و خدمات ==
بیمه یار روش درآمدی خود را در 3 (سه) بخش مختلف بنا نهاده است
شرکتهایی نیز علاوه بر بیمه گری روش توسعه و آموزش مردم در شناسایی بیمه و خدمات حمایتی را شروع کرده‌اند که در بین آنها میتوان به [http://tabankherad.com تابان خرد] ، [http://www.sanatebime.ir صنعت بیمه] اشاره نمود البته هستند افرادی [http://www.khanifar.blogfa.com سعید خنیفر ] که در مدل کوچک جهت معرفی خود با استفاده از وبلاگ این راه را شروع کرده‌اند اما بدیهی است بدون ساختار مناسب در بازار راه به جایی نخواهند برد
=== انواع بیمه نامه ===
* شرکت با ارائه کلیه خدمات بیمه‌ای شرکت مادر طرف قرارداد توانایی صدور و تمدید انواع بیمه نامه را با اتصال به درگاه شرکت مادر از طریق سیستم تجارت الکترونیک خود دارد همچنین با امکانات موجود در سیستم نرم افزاری خود امکان صدور انواع بیمه نامه مجازی برای در اختیارقراردادن اطلاعات به مشتریان خود می باشد و نیز پس از صدور بیمه نامه بروشور کامل مزایا و شرایط استفاده را برای بیمه گذار ارسال می نماید تا بیمه گذار ضمن اشراف به حقوق خود اطیمینان خاطر از همراهی '''بیمه یار''' در کنار خود باشد
''خریداران این محصول کلیه افراد حقیقی و حقوقی خواستار بیمه می باشند''

=== تبلیغات روی سایت ===
*در عصر حاضر که به عصر فناوری اطلاعات مشهور است عموما افراد بیش از انکه مایل به گردش در خیابان و شرکتها برای تامین نیاز باشند مایل به استفاده از مزایای دنیای مجازی و شناسایی و تامین نیاز از این درگاه و مسیر هستند از اینرو ارائه اطلاعات مفید و بروز پیوسته در سایت باعث عبور افراد بیشتر از سایت خواهد شد از این رو استفاده ار دو نوع تبلیغ غیر مستقیم (کالای اصلی ) و تبلیغ مستقیم (شرکتهای ثالث ) جز, برنامه ریزی شرکت می باشد.
''مشتریان این بخش شرکتهای تجاری می‌باشند''

=== مدل ارجاع مشتری و واسطه گری بیمه ===
* علیرغم اینکه '''بیمه یار''' تمامی خدمات بیمه ای را تامین می نماید ولیکن بر اساس احترام به حق انتخاب مشتری امکان تهیه محصول درخواستی را از سایر شرکتها فراهم می کند که از این ارجاع پورسانت و حق ارجاع خود را از سایر شرکتهای بیمه ای دریافت می کند
''مشتریان این بخش شرکتهای بیمه ای می‌باشند''

== محصولات جایگزین ==
در این صنعت معمولا سرعت عمل درپاسخگویی ضمانت پایداری کار می باشد در غیر این حالت تبحر بیمه گر در ارائه سبد محصول می تواند به عنوان جایگزین مطرح باشد

== تحلیل صنعت بیمه ==
* صنعت بیمه یک صنعت جهانی است که پیدایش آن شاید از هزاره های گذشته باشد [http://fa.wikipedia.org/wiki/%D8%A8%DB%8C%D9%85%D9%87 تاریخ بیمه] ،اما شروع بیمه های امروزی از اواسط سده 17 میلادی (در ابتدای قرن هفدهم میلادی، بازرگانان و کشتی‌داران انگلیسی پیمانی را پایه‌گذاری کردند که می‌توان آن را اولین شکل از بیمه امروزی دانست. آنها در کافه‌ای در لندن به نام '''لویدز''' گرد هم آمدند و با یکدیگر قرارداد کردند تا در سود و زیان سفرهای دریایی با یکدیگر سهیم باشند. در حقیقت آنها شرکت بیمه لویدز را پایه‌گذاری نمودند که امروزه نیز به عنوان یکی از بزرگترین شرکتهای فعال در صنعت بیمه شناخته می‌شود) در انگلستان پایه گذاری گردید
* در ایران اما صنعت بیمه بسیار جوانتر (فعالیت بیمه‌ای در ایران از سال ۱۲۸۹ شروع شد. در این سال دو موسسه روسی با نامهای نادژدا و قفقازمرکوری شروع به کار نمودند. پس از شروع به کار این دو موسسه، تا سال ۱۳۱۴ خورشیدی، در حدود ۱۳ شرکت خارجی در بازار بیمه کشور فعالیت خود را شروع نمودند که از آن جمله می‌توان به شرکت‌های آلیانس انگلیس،‌ یورکشایر انگلیس و اینگستراخ روسیه اشاره نمود.) میباشد که البته باز با مجری گری خارجیان میباشد اما اولین شرکت ایرانی 80 سال قبل (''۱۵ آبان سال ۱۳۱۴، شرکت سهامی بیمه ایران'' ) پایه گذاری گردید.
* با این وجود علی رغم گذشت این مدت همچنان ضریب نفوذ بیمه در کشور ما به دلیل عدم اشنایی به مزایا و بر اثر هزینه ای داستن بیمه شرکتهای بیمه ای توفیق چندانی در دستیابی به اهداف و گرفتن سهم مناسب از سبد مصرف خانوار بدست نیاورده اند و دراین جا فقط دلخوش به سبد حمایت دولت و بیمه های اجباری هستند

{| class="wikitable"
|-
! میانگین ضریب نفوذ بیمه در جهان !! ضریب نفوذ بیمه در ایران
|-
| 5/7 || 2/8
|-
|}
[http://www.bima.ir/view-10466-%D9%85%D8%AD%D8%A7%D8%B3%D8%A8%D9%87%20%D8%B6%D8%B1%DB%8C%D8%A8%20%D9%86%D9%81%D9%88%D8%B0%20%D8%A8%DB%8C%D9%85%D9%87%20%D8%AF%D8%B1%20%DA%A9%D8%B4%D9%88%D8%B1.html محاسبه ضریب نفوذ بیمه در کشور]

بیمه های موجود عموما به چهار دسته تقسیم میشون
=== بيمه اموال Property insurance ===
* بیمه اموال معمولا به بیمه تامین خسارت مشهور است که جزء بیمه های رایج میباشد
* مهم‌ترين رشته‌هاي بيمه اموال شامل بيمه‌آتش سوزي،‌ اتومبيل، باربري و محصولات كشاورزي می باشد.
=== بيمه اشخاص يا زندگي Life insurance ===
* بیمه اشخاص که از سرفصلهای تازه بیمه در کشور ما میباشد و جای کار روی آن زیاد است که شامل بیمه عمر نیز میشود بیشتر میتواند به عنوان یک سرمایه گذاری سود آور مطرح گردد
* مبلغ بيمه شده خصلت مقطوع دارد و قابل ارزيابي نيست.
* انجام تعهد بيمه‌گر يا پرداخت مبلغ بيمه شده، جنبه جبران خسارت و رفع ضرر زيان مالي ندارد.
* بيمه‌گر با اداي تعهد خود نمي‌تواند جانشين بيمه‌گذار براي وصول غرامت از مقصر حادثه گردد.
=== بيمه مسئوليت Liability Insurance ===
* بیمه مسئولیت یا تامین خسارت شخص ثالث میتواند کمکی موثر در آسودگی خیال کارآفینان گردد
* بيمه‌هاي رايج در اين رشته مي‌توان از بيمه‌هاي مسئوليت كارفرما در قبل كاركنان و يا اشخاص ثالث و يا بيمه مسئوليت هتلداران و پزشكان
=== بيمه اعتبار تضمين Credit insurance and Guarantee ===
* اين بيمه جزو بيمه‌هاي اموال مي‌باشد كه شباهت‌هايي نيز به بيمه مسئوليت دارد. در اين بيمه‌ها ذينفع شخصي غير از بيمه‌گذار است و شامل:
* الف – بيمه اعتبار
* دراين بيمه قرارداد بين بيمه‌گر و بيمه‌گذاري است كه از كسي يا كساني طلب دارد و نگران است طلب او رأس موعد مقرر وصول نشود. ريسك
* تحت پوشش در اين بيمه خطر عدم وصول طلب بيمه‌گذار مي‌باشد.
* ب- بيمه تضمين
* موضوع اين بيمه ميزان معيني وجه نقد مي‌باشد كه بيمه‌گر متعهد مي‌گردد و در صورتي كه بيمه‌گذار تحت شرايط قرارداد قادر به پرداخت دين
* خود نباشد آن را پرداخت نمايد.
[http://www.samaninsurance.com/Pages/Index/74 بیمه سامان]

* صنعت بیمه به فراخور اوضاع جهانی ، جنگ ، نابسامانی سیاسی ، شرایط اقلیمی ، بلایای طبیعی ستخوش دگرگونی خواهد شد اما بازار کلی
* آن پابرجا خواهد بود درشرایط سخت طرفداران بیمه مسئولیت ،تضمین زیاد میشوند در شزایط ارامش بیمه اشخاص ، اعتبار تجاری و ...

== تحلیل صنعت خود ==
در اين قسمت پس از آنکه جايگاه صنعت مادر مشخص گرديد، بايستي جايگاه صنعت خود را در صنعت مادر مشخص کرده و آينده صنعت خود را ترسيم نمائيد. همچنين در اين قسمت بايستي، محصول خود را از نظر تاريخچه تکنولوژي مورد بررسي قرار دهيد و اينکه محصول شما قبلاً با چه تکنولوژِي توليد مي شده، اکنون چه تکنولوژي آن را توليد مي کند و در آينده چگونه توليد خواهد شد و آيا تکنولوژي مورد استفاده شما در آينده نيز استفاده خواهد شد و يا احتمال منسوخ شدن آن وجود دارد.

== تحلیل بازار ==
در دو يا چند صفحه به سوالات زير پاسخ دهيد:
* تعريف بازار
* اندازه بازار و ميزان رشد
* اين شرکت پاسخگوي چه نيازهايي از بازار مي باشد؟
* نحوه تقيسم بندي بازار
* مشتريان هدف ما چه کساني هستند؟
(در اين قسمت مي توانيد مشتريان را طبقه بندي کنيد و آمار مربوط به هر طبقه را گزارش دهيد و اينکه شما چه سهمي از هر بخش از بازار را در نظر گرفته ايد که مي خواهيد پوشش دهيد)
* روندهاي مهم در بازار
* شرکت ما چه محصولات و خدماتي را عرضه مي کند؟ سبد فروش شما شامل چه محصولات ديگري است که به عنوان يک بافر جهت اطمينان از گردش پولي شرکت از آن ها استفاده مي کنيد.
* ميزان فروش جاري و محصولات فعلي شرکت چه هستند؟
* مرزهاي فعلي کسب و کار ما چيست؟
* تضمين فروش شما چيست؟ آيا تفاهمنامه، پيش قرارداد يا هرآنچه مشخص نمايد که محصول شما به فروش خواهد رسيد در اختيار داريد؟
* استراتژِ هاي معرفي، بازاريابي، فروش، قيمت گذاري و تبليغات شما چيست؟ به عنوان مثال براي بازاريابي چه استراتژِ ي هايي را مدنظر قرار مي دهيد؟ بازاريابي از طريق مصاحبه حضوري؟ روابط قوي در بازار مربوطه؟ ....

== تحلیل رقبا ==
در يک يا دو صفحه, بايستي موقعيت محصول يا خدمت در بازار تشريح شود. اين که رقباي اصلي (بالفعل) شرکت چه کساني هستند؟ و محصولات آن ها چيست؟ چرا و چگونه محصولات و خدمات شرکت آن ها از رقبا متمايز مي شود؟ رقباي بالقوه شما چه کساني هستند؟ چه چالش ها و انگيزاننده هايي جهت ورود رقباي بالقوه به بازار شما وجود دارد.

در اين قسمت بايستي يک تحليل SWOT از شرکت خود و رقبا ترسيم کنيد. اين تحليل شامل نقاط ضعف، قوت، فرصت ها و تهديدهاي پيش روي شما و نيز رقبايتان است. (به عنوان مثال يکي از فرصت هاي شما مي تواند تحريم واردات کالايي باشد که شما قصد توليد آن را داريد و نقطه ضعف شما نداشتن پول زياد، نقطه قوت شما، داشتن پرسنلي با توان علمي بالا و ... است) اين تحليل را بصورت جدول تهيه کنيد تا امکان تحليل آن ها وجود داشته باشد. با مقايسه نقاط ضعف و قوت و فرصت و تهديد خود و رقبا، استراتژِهاي شرکت خود را در زمينه هاي مختلف براي جلوگيري از ورود رقباي بيشتر و نيز حفظ مزاياي رقابتي خود استخراج کنيد.

== تدوین استراتژی ==
استراتژي ها جواب اين سؤال هستند كه چه عواملي در طول زمان سبب موفقيت اين فعاليت خواهند شد. براي اين منظور، ابتدا بايد نقاط قوت و ضعف، فرصت ها و تهديدهاي خود و رقبا را تعيين کنيد سپس به کمک آن، استراتژي هاي خود را در مورد مسائل ذيل تهيه نمائيد:
* قيمت گذاري
* مشتريان
* رقبا
* بازاريابي
* بازار هدف
* توزيع
* تکنولوژي
* تبليغات
* ماليات
* قوانين محلي و دولتي
* شرايط اقتصادي

== مراحل توسعه محصولات ==
در اين قسمت مشخص مي کنيد که آيا در ادامه فعاليت خود توسعه اي را در برنامه داريد. اين توسعه ها شامل چه مواردي مي شود آيا محصول ديگري را نيز مي خواهيد در آينده توليد کنيد و يا خدمات ديگري را عرضه نمائيد؟ نحوه توسعه و گسترش آتي خود را بصورت برنامه زماني بلند مدت نشان دهيد.

== تحلیل مالی ==
اگر طرح تجاري شما را به يک کيک تشبيه کنيم قسمت اطلاعات مالي آن بايستي همانند خامة روي آن باشد!!!

شما يک ايده تجاري خوب را طرح ريزي کرده ايد، اثبات کرديد که يک نياز واقعي در بازار وجود دارد، نشان داديد که چگونه ايده ها را اجرا مي کنيد، بيان کرديد که تيم شما آماده است که ريسک ها را مديريت کند و اکنون شما نشان خواهيد داد که هر کدامتان قرار است چه مقدار پول توليد کند.

توجه داشته باشيد، چنانچه ايده شما چندان غني نباشد، يا يک بازار خوب براي ايده شما وجود ندارد، يا از نظر اجرائي ضعيف هستيد، يا تيم مديريتي شما با کفايت نيست، طرح مالي شما محکوم به شکست خواهد شد. اگر شما تا اينجاي کار خواننده طرح را متقاعد نکرده باشيد مطمئناً با اطلاعات مالي که در ادامه خواهيد آورد نيز متقاعد نخواهد شد.
با اين وجود، بسيار مهم است که اطلاعات مالي شما قوي و خوش ساختار باشد. اگر شما نتوانيد نشان دهيد که ايده شما مي تواند پول(زيادي) نصيبتان کند، خواننده بلافاصله علاقة خود را از دست خواهد داد. به منظور تدوين قسمت مالي طرح خود، قوياً توصيه مي کنم که با استفاده از برنامه توسعه و فعاليت خود، يک جدول زماني از فعاليت ها و توسعه هاي آتي خود ترسيم کنيد.

از روي جدول زماني فعاليت هاي آتي، شما مي توانيد نمودار جريان نقدي (Cash Flow) و صورت-هاي مالي (نظير صورت حساب سود و زيان و ترازنامه) را حداقل براي 3 سال آتي (و گاهي تا 5سال) تدوين کنيد.

با يک حساب سرانگشتي، حسابهاي مالي شما بايستي تا نقطه اي از آينده ادامه داشته باشد که در آن نقطه، تجارت شما به يک تعادل نسبي در انجام امور خود دست يافته باشد.در سال اول، صورت هاي مالي فعاليت ها، هزينه ها و در آمدها بايستي ماه به ماه باشد، چرا که جريان هاي نقدي در گام هاي اولية هر شروعي بحراني و حياتي است. در سال هاي دوم و سوم صورتهاي مالي بايستي به چهار قسمت در سال تقسيم شود، و در سال هاي چهارم و پنجم بصورت ساليانه بيان شود.

صورتهاي مالي خود را در 3 حالت، "محتمل ترين حالت"، "خوش بينانه ترين حالت" و "بدبينانه ترين حالت" تنظيم نمائيد. چرا که اين امکان را به شما و خواننده مي دهد تا حد بالا و پائين ريسک طرح خود و نيز ريسک پذيري و ريسک گريزي شما را کشف نمايد. مطمئن شويد که هزينه ها و درآمدهاي قسمت مالي با ساير قسمت هاي طرح تجاريتان همخواني و تناسب داشته باشد. براي مثال اگر شما گفته ايد که 3 شعبه در سال دوم راه اندازي مي کنيد ولي صورت هاي مالي نشان مي دهد که 5 شعبه، خواننده به سرعت تجانس و تطابق طرح تان را زير سوال خواهد برد.

خلاصه مالي طرح شما بايستي شرح و توضيحي بر صورتهاي مالي تان باشد، صورت هاي مالي اصلي را در ادامه ضميمه کنيد.

زمان و حجم سرمايه گذاري لازم جهت اجراي طرحتان را شرح دهيد. سپس نشان دهيد که اين يک سرمايه گذاري خوب است و اين کار را با اثبات مطلوب بودن منفعت ها، دارائي ها، نرخ بازگشت سرمايه، ... ، انجام دهيد.

در ادامه مشخص نمائيد که سرمايه لازم را چگونه تأمين خواهيد کرد. براي مثال چه مقدار از آن را خود و شرکايتان پرداخت خواهند کرد و چه مقدار از آن را از طريق گرفتن تسهيلات از بانک يا مرکز رشد تامين خواهيد نمود.

اگر بخواهيد قسمت تحليل مالي طرح تجاري خود را با جزئيات بيشتري تشريح کنيد در واقع خروجي آن يک طرح توجيهي خواهد بود.

== تحلیل ریسک ==
در اين قسمت بايستي شاخص هايي که در طرح شما به عنوان ريسک مطرح مي شوند ليست کرده و ميزان اثر گذاري هر يک در طرح خود را آناليز حساسيت کنيد.

== طرح فنی ==
طرح فنی بیانگر اکوسیستم طرح کسب و کار شما می باشد که در آن کلیه اجزا و سیستم های فنی (مبتنی بر تجارت الکترونیک) در ارتباط با مشتری، تامین کنندگان و سایر موجودیت های محیطی توصیف شده و چگونگی ارتباط بین آنها مشخص می شود. بنابراین یک شمای تصویری از بعد فنی برای طرح کسب و کار در این قسمت ارایه دهید.