تاثیر مجازی سازی داده بر کیفیت داده: تفاوت میان نسخه‌ها
بدون خلاصۀ ویرایش |
بدون خلاصۀ ویرایش |
||
| خط ۱۸: | خط ۱۸: | ||
به طور قطع هر مدیر شرکت و یا سازمانی که با هوش تجاری و پروژه های مربوط به ان دست و پنجه نرم کرده باشد میداند که مشکلات مربوط به ارتباطات داده ای و کیفیت داده تاثیرات منفی و هزینه بسیاری بر تطبیق داده ای دارد. | به طور قطع هر مدیر شرکت و یا سازمانی که با هوش تجاری و پروژه های مربوط به ان دست و پنجه نرم کرده باشد میداند که مشکلات مربوط به ارتباطات داده ای و کیفیت داده تاثیرات منفی و هزینه بسیاری بر تطبیق داده ای دارد. | ||
به طور سنتی راه حل یکارچه سازی که در هوش سازمانی وجود دارد ایجاد یک enterprise data warehouse است که از منابع مختلف اطلاعات خود را دریافت میکند.این روش اطمینان خاطری از یکتا بودن اطلاعات کسب و کار و تجمیع منابع داده ای برای پرس و جو ها و تحلیل اطلاعات ایجاد خواهد کرد.اما این روش محدودیتهای بسیار ی برای محیط های چابک و غیر متمرکز خواهد داشت.پس راه حل جایگزین که سریع و در عین حال گران قیمت نباشد چه خواهد بود؟مجازی سازی داده راه حلی است که در طول سالها توسعه و گسترش لازم را پیدا کرده است. | به طور سنتی راه حل یکارچه سازی که در هوش سازمانی وجود دارد ایجاد یک enterprise data warehouse است که از منابع مختلف اطلاعات خود را دریافت میکند.این روش اطمینان خاطری از یکتا بودن اطلاعات کسب و کار و تجمیع منابع داده ای برای پرس و جو ها و تحلیل اطلاعات ایجاد خواهد کرد.اما این روش محدودیتهای بسیار ی برای محیط های چابک و غیر متمرکز خواهد داشت.پس راه حل جایگزین که سریع و در عین حال گران قیمت نباشد چه خواهد بود؟مجازی سازی داده راه حلی است که در طول سالها توسعه و گسترش لازم را پیدا کرده است. | ||
مجازی سازی داده | |||
'''مجازی سازی داده''' | |||
مجازی سازی فرایند تجرید داده در بین منابع مختلف اطلاعاتی مانند پایگاه های داده های رابطه ای،منابع اطلاعاتی که در غالب وب سرویس ها عرضه میشوند، xml repository و نوع های دیگری که باید قابل دسترس باشند صرف نظر از اینکه در چه بستر فیزیکی و با چه ساختارهای متفاوتی نگهداری میشوند. | مجازی سازی فرایند تجرید داده در بین منابع مختلف اطلاعاتی مانند پایگاه های داده های رابطه ای،منابع اطلاعاتی که در غالب وب سرویس ها عرضه میشوند، xml repository و نوع های دیگری که باید قابل دسترس باشند صرف نظر از اینکه در چه بستر فیزیکی و با چه ساختارهای متفاوتی نگهداری میشوند. | ||
این اصطلاح بیشتر در بین فروشندگان نرم افزار استفاده میشود اما در حقیقت معنی خود را از واژه قدیمیتر data federation وام گرفته است.شکل زیر نمای کلی از مجازی سازی داده را نشان میدهد: | این اصطلاح بیشتر در بین فروشندگان نرم افزار استفاده میشود اما در حقیقت معنی خود را از واژه قدیمیتر data federation وام گرفته است.شکل زیر نمای کلی از مجازی سازی داده را نشان میدهد: | ||
شکل 1 | شکل 1 | ||
از حدود دهه 80 میلادی تا کنون تغییرات زیادی در زمینه data federation به وجود آمده است. در سالهای اخیر data federation با نام سرویس داده یا اطلاعات نامیده میشود.معماری سرویس گرا از D.F. به عنوان سرویس داده ای که منابع داده ای را پشت یک رابط پرس و جو انتزاعی میکند ،استفاده میکند.سرویس های داده ای پلتفرم یکپارچه سازی داده را به صورت بسیار قابل انعطافی پیشنهاد میدهند.این سرویس های داده ای بر مبنای نسل جدید از استانداردها و سرویس ها هستند که اجازه دسترسی به هر نوع داده که بر روی هر پلتفرمی قرار دارند را میدهند در ضمن رابط های کاربری بسیار متنوعی دارند و از استانداردهای دسترسی به داده نیز بهره میجویند.اما بهره استفاده از وب سرویس ها میتواند بیش از این باشد.مواردی مانند تک نسخه ای بودن حقیقت (single version of the truth)- هوش تجاری بلادرنگ،جستجو در میان کلیه اطلاعات سازمان و امنیت بسیار بالا در دسترسی به اطلاعات حساس را پشتیبانی میکنند. | از حدود دهه 80 میلادی تا کنون تغییرات زیادی در زمینه data federation به وجود آمده است. در سالهای اخیر data federation با نام سرویس داده یا اطلاعات نامیده میشود.معماری سرویس گرا از D.F. به عنوان سرویس داده ای که منابع داده ای را پشت یک رابط پرس و جو انتزاعی میکند ،استفاده میکند.سرویس های داده ای پلتفرم یکپارچه سازی داده را به صورت بسیار قابل انعطافی پیشنهاد میدهند.این سرویس های داده ای بر مبنای نسل جدید از استانداردها و سرویس ها هستند که اجازه دسترسی به هر نوع داده که بر روی هر پلتفرمی قرار دارند را میدهند در ضمن رابط های کاربری بسیار متنوعی دارند و از استانداردهای دسترسی به داده نیز بهره میجویند.اما بهره استفاده از وب سرویس ها میتواند بیش از این باشد.مواردی مانند تک نسخه ای بودن حقیقت (single version of the truth)- هوش تجاری بلادرنگ،جستجو در میان کلیه اطلاعات سازمان و امنیت بسیار بالا در دسترسی به اطلاعات حساس را پشتیبانی میکنند. | ||
مجازی سازی داده در سطح پیشرفته ،داده را از منابع مختلف (پایگاه های داده ومخازن داده و برنامه های کاربردی ) مجرد میکند و به صورت فراداده در پوشه ای نگهداری میکند که به عنوان تنها نقطه دسترسی به داده استفاده خواهد شد. | مجازی سازی داده در سطح پیشرفته ،داده را از منابع مختلف (پایگاه های داده ومخازن داده و برنامه های کاربردی ) مجرد میکند و به صورت فراداده در پوشه ای نگهداری میکند که به عنوان تنها نقطه دسترسی به داده استفاده خواهد شد. | ||
مجرد سازی داده قابلیت های زیر را ارائه میدهد: | مجرد سازی داده قابلیت های زیر را ارائه میدهد: | ||
• داده ها به صورت قابل اطمینان و بدون تاثیر از ساختار و syntax بومی داده به برنامه های کاربردی دیگر که به داده نیاز دارند ارائه میشود. | • داده ها به صورت قابل اطمینان و بدون تاثیر از ساختار و syntax بومی داده به برنامه های کاربردی دیگر که به داده نیاز دارند ارائه میشود. | ||
• به طور منطقی ذاذه ها از یک نقطه قابل دسترسی و گزارشگیری هستند. | • به طور منطقی ذاذه ها از یک نقطه قابل دسترسی و گزارشگیری هستند. | ||
• تغییر شکل داده ها | • تغییر شکل داده ها | ||
• Federation of data sets از منابع گوناگون و ناهمگون اطلاعات به دست می آید(داده های عملیاتی و داده های تاریخی) | • Federation of data sets از منابع گوناگون و ناهمگون اطلاعات به دست می آید(داده های عملیاتی و داده های تاریخی) | ||
• انعطاف پذیری در ارائه داده در قالب وب سرویس به محض درخواست کاربران | • انعطاف پذیری در ارائه داده در قالب وب سرویس به محض درخواست کاربران | ||
• ارائه داده های درخواستی در غالبی بدون تناقض برای برنامه های کاربردی به صورت relational view و یا وب سرویس | • ارائه داده های درخواستی در غالبی بدون تناقض برای برنامه های کاربردی به صورت relational view و یا وب سرویس | ||
مجرد سازی داده در دو مرحله انجام میگیرد: | مجرد سازی داده در دو مرحله انجام میگیرد: | ||
• شناسایی منابع داده و مشخصات آنها.اگر بیش از یک منبع وجود داشته باشد که داده مورد نظر را تولید کند باید منبعی که اطمینان بیشتر به آن وجود دارد انتخاب شود .ابزارهایی برای طراحی مدل داده(data model) وجود دارد | • شناسایی منابع داده و مشخصات آنها.اگر بیش از یک منبع وجود داشته باشد که داده مورد نظر را تولید کند باید منبعی که اطمینان بیشتر به آن وجود دارد انتخاب شود .ابزارهایی برای طراحی مدل داده(data model) وجود دارد | ||
• استفاده از برنامه های کاربردی برای مدلسازی داده در مرحله دوم برای دریافت داده از منابع مختلف. | • استفاده از برنامه های کاربردی برای مدلسازی داده در مرحله دوم برای دریافت داده از منابع مختلف. | ||
نرم افزار های مجرد سازی داده تنها از فراداده ای که از منابع اطلاعاتی استخراج شده است استفاده میکنند و جابجایی فیزیکی داده نیاز نیست.این روش هنگامی که مخازن داده توسط تامین کننده های خارجی در بیرون از سازمان نگهداری میشوند بسیار مفید خواهد بود.این روش پرس و جوهای بلادرنگ،جمع آوری و سازماندهی سریع داده، تحلیل های پیچیده را بدون نیاز به همزمانی منطقی و یا کپی کردن داده ها ممکن می سازد. | نرم افزار های مجرد سازی داده تنها از فراداده ای که از منابع اطلاعاتی استخراج شده است استفاده میکنند و جابجایی فیزیکی داده نیاز نیست.این روش هنگامی که مخازن داده توسط تامین کننده های خارجی در بیرون از سازمان نگهداری میشوند بسیار مفید خواهد بود.این روش پرس و جوهای بلادرنگ،جمع آوری و سازماندهی سریع داده، تحلیل های پیچیده را بدون نیاز به همزمانی منطقی و یا کپی کردن داده ها ممکن می سازد. | ||
برای سازمانهایی که توان مالی بالایی ندارند و نیاز به راه حل سریع و ارزان قیمت دارند استفاده از مجرد سازی داده به جای استفاده ازابزارهای ETL برای ساخت انباره داده فیزیکی توصیه میشود. البته باید توجه داشت که مجرد سازی داده همیشه بهترین انتخاب نیست.برای سازمانهایی که درگیر مقادیر عظیمی از داده و transformation و پالایش پیچیده داده هستند این موضوع سیستم های مبدا را کند میکند. و همچنین جهت سازمانها یی که یک نسخه واحد از اطلاعات قابل اتکا وجود ندارد توصیه نمیشود.ولیکن مجرد سازی داده میتواند یکپارچه سازی انباره های سنتی داده را کامل کند.موارد زیر مثال های موفقی از ترکیب این دو تکنولوژی هستند | برای سازمانهایی که توان مالی بالایی ندارند و نیاز به راه حل سریع و ارزان قیمت دارند استفاده از مجرد سازی داده به جای استفاده ازابزارهای ETL برای ساخت انباره داده فیزیکی توصیه میشود. البته باید توجه داشت که مجرد سازی داده همیشه بهترین انتخاب نیست.برای سازمانهایی که درگیر مقادیر عظیمی از داده و transformation و پالایش پیچیده داده هستند این موضوع سیستم های مبدا را کند میکند. و همچنین جهت سازمانها یی که یک نسخه واحد از اطلاعات قابل اتکا وجود ندارد توصیه نمیشود.ولیکن مجرد سازی داده میتواند یکپارچه سازی انباره های سنتی داده را کامل کند.موارد زیر مثال های موفقی از ترکیب این دو تکنولوژی هستند | ||
a. کاهش ریسک فعالیت گزارش گیری طی جابجایی انباره داده با اضافه کردن یک لایه مجازی بین انباره داده و لایه گزارش گیری | a. کاهش ریسک فعالیت گزارش گیری طی جابجایی انباره داده با اضافه کردن یک لایه مجازی بین انباره داده و لایه گزارش گیری | ||
b. پیش اماده سازی داده برای ابزارهای ETL که همیشه به عنوان بهترین رهیافت جهت بارگذاری داده در انباره نیستند(مانند SAP و یا وب سرویس ها) | b. پیش اماده سازی داده برای ابزارهای ETL که همیشه به عنوان بهترین رهیافت جهت بارگذاری داده در انباره نیستند(مانند SAP و یا وب سرویس ها) | ||
c. ساخت بازارهای داده مجازی به جای بازارهای داده فیزیکی | c. ساخت بازارهای داده مجازی به جای بازارهای داده فیزیکی | ||
d. گسترش انبار داده موجود با افزایش منابع داده ای | d. گسترش انبار داده موجود با افزایش منابع داده ای | ||
e. کسترش master data سازمان که منجر به ایجاد دید مفهومی تری از فعالیت های سازمان میشود. | e. کسترش master data سازمان که منجر به ایجاد دید مفهومی تری از فعالیت های سازمان میشود. | ||
f. تجمیع (federation) چندین انبار داده فیزیکی در غالب یک انبار داده مجازی | f. تجمیع (federation) چندین انبار داده فیزیکی در غالب یک انبار داده مجازی | ||
g. یکپارچگی مجازی از انبارداده ها در معماری اطلاعاتی سازمان | g. یکپارچگی مجازی از انبارداده ها در معماری اطلاعاتی سازمان | ||
h. ساخت سریع الگوی اولیه انبار داده | h. ساخت سریع الگوی اولیه انبار داده | ||
ابزارهای مجازی سازی –تحلیل بازار | |||
'''ابزارهای مجازی سازی –تحلیل بازار''' | |||
محبوبترین ابزارهای یکپارچه سازی که از data federation را ارائه میدهند شامل موارد زیر هستند | محبوبترین ابزارهای یکپارچه سازی که از data federation را ارائه میدهند شامل موارد زیر هستند | ||
- SAP BusinessObjects Data Federator; | - SAP BusinessObjects Data Federator; | ||
- Sybase Data Federation; | - Sybase Data Federation; | ||
- IBM InfoSphere Federation Server; | - IBM InfoSphere Federation Server; | ||
- Oracle Data Service Integrator; | - Oracle Data Service Integrator; | ||
- SAS Enterprise Data integration Server | - SAS Enterprise Data integration Server | ||
نسخهٔ ۳۱ ژانویهٔ ۲۰۱۵، ساعت ۰۳:۱۱
تاثیر مجازی سازی داده بر افزایش کیفیت داده
افزایش کیفیت داده ها با استفاده از مجازی سازی داده
سازمانهای مجهز به کسب و کار الکترونیکی در این چند سال دچار اخیر دچار تغییرات بسیار زیادی شده اند. در سالهای نه چندان دور استفاده از زیر ساخت شبکه های کامپیوتری و سیستم های اطلاعاتی برای قرار گرفتن در صف سازمانهای مجهز به کسب و کار الکترونیکی و رقابت در بازار کافی بود اما امروزه با مطرح شدن مسایلی مانند هوش سازمانی و اهمیت آن در ایجاد مزیت رقابتی بین سازمانها استفاده از آن برای سازمانها جهت باقی ماندن در فضای کسب و کار اجباری مینماید. اجبار سازمانها به بهبود کیفیت داده آنها را نیازمند به استفاده از مجازی سازی داده ها خواهد کرد. چالش های اصلی که در زمینه کیفیت داده وجود داردبه شرح زیر هستند.
• تناقضات معنایی و ساختاری-تناقض ساختاری وقتی اتفاق می افتد که یک داده در فرایند های مختلف با ساختار و نوع متفاوتی نمایانده شود.در حالت معنایی درک متفاوتی از یک داده واحد در فرایند های مختلف وجود دارد.
• تناقضات مربوط بر اعتبار سنجی.هنگامی که قواعد اعتبار سنجی که اولین مرحله آن توسط کاربر اتفاق می افتد در فرایند های مختلف متفاوت باشد.
• عملکرد تکراری
• بی نظمی داده ای
الحاق کردن مدیریت کیفیت داده به قسمتی از مجازی سازی داده ،مدیریت داده را با زیر ساخت برنامه های کاربردی یکپارچه میکند . مشخص کردن زود هنگام مسایل مربوط به داده در فرایند تولید اطلاعات ،فرایند پالایش و بازسازی را قبل از اینکه تاثیرات مخرب اتفاق بی افتد فعال میکند .
به طور قطع هر مدیر شرکت و یا سازمانی که با هوش تجاری و پروژه های مربوط به ان دست و پنجه نرم کرده باشد میداند که مشکلات مربوط به ارتباطات داده ای و کیفیت داده تاثیرات منفی و هزینه بسیاری بر تطبیق داده ای دارد.
به طور سنتی راه حل یکارچه سازی که در هوش سازمانی وجود دارد ایجاد یک enterprise data warehouse است که از منابع مختلف اطلاعات خود را دریافت میکند.این روش اطمینان خاطری از یکتا بودن اطلاعات کسب و کار و تجمیع منابع داده ای برای پرس و جو ها و تحلیل اطلاعات ایجاد خواهد کرد.اما این روش محدودیتهای بسیار ی برای محیط های چابک و غیر متمرکز خواهد داشت.پس راه حل جایگزین که سریع و در عین حال گران قیمت نباشد چه خواهد بود؟مجازی سازی داده راه حلی است که در طول سالها توسعه و گسترش لازم را پیدا کرده است.
مجازی سازی داده
مجازی سازی فرایند تجرید داده در بین منابع مختلف اطلاعاتی مانند پایگاه های داده های رابطه ای،منابع اطلاعاتی که در غالب وب سرویس ها عرضه میشوند، xml repository و نوع های دیگری که باید قابل دسترس باشند صرف نظر از اینکه در چه بستر فیزیکی و با چه ساختارهای متفاوتی نگهداری میشوند.
این اصطلاح بیشتر در بین فروشندگان نرم افزار استفاده میشود اما در حقیقت معنی خود را از واژه قدیمیتر data federation وام گرفته است.شکل زیر نمای کلی از مجازی سازی داده را نشان میدهد:
شکل 1 از حدود دهه 80 میلادی تا کنون تغییرات زیادی در زمینه data federation به وجود آمده است. در سالهای اخیر data federation با نام سرویس داده یا اطلاعات نامیده میشود.معماری سرویس گرا از D.F. به عنوان سرویس داده ای که منابع داده ای را پشت یک رابط پرس و جو انتزاعی میکند ،استفاده میکند.سرویس های داده ای پلتفرم یکپارچه سازی داده را به صورت بسیار قابل انعطافی پیشنهاد میدهند.این سرویس های داده ای بر مبنای نسل جدید از استانداردها و سرویس ها هستند که اجازه دسترسی به هر نوع داده که بر روی هر پلتفرمی قرار دارند را میدهند در ضمن رابط های کاربری بسیار متنوعی دارند و از استانداردهای دسترسی به داده نیز بهره میجویند.اما بهره استفاده از وب سرویس ها میتواند بیش از این باشد.مواردی مانند تک نسخه ای بودن حقیقت (single version of the truth)- هوش تجاری بلادرنگ،جستجو در میان کلیه اطلاعات سازمان و امنیت بسیار بالا در دسترسی به اطلاعات حساس را پشتیبانی میکنند.
مجازی سازی داده در سطح پیشرفته ،داده را از منابع مختلف (پایگاه های داده ومخازن داده و برنامه های کاربردی ) مجرد میکند و به صورت فراداده در پوشه ای نگهداری میکند که به عنوان تنها نقطه دسترسی به داده استفاده خواهد شد.
مجرد سازی داده قابلیت های زیر را ارائه میدهد:
• داده ها به صورت قابل اطمینان و بدون تاثیر از ساختار و syntax بومی داده به برنامه های کاربردی دیگر که به داده نیاز دارند ارائه میشود.
• به طور منطقی ذاذه ها از یک نقطه قابل دسترسی و گزارشگیری هستند.
• تغییر شکل داده ها
• Federation of data sets از منابع گوناگون و ناهمگون اطلاعات به دست می آید(داده های عملیاتی و داده های تاریخی)
• انعطاف پذیری در ارائه داده در قالب وب سرویس به محض درخواست کاربران
• ارائه داده های درخواستی در غالبی بدون تناقض برای برنامه های کاربردی به صورت relational view و یا وب سرویس
مجرد سازی داده در دو مرحله انجام میگیرد:
• شناسایی منابع داده و مشخصات آنها.اگر بیش از یک منبع وجود داشته باشد که داده مورد نظر را تولید کند باید منبعی که اطمینان بیشتر به آن وجود دارد انتخاب شود .ابزارهایی برای طراحی مدل داده(data model) وجود دارد
• استفاده از برنامه های کاربردی برای مدلسازی داده در مرحله دوم برای دریافت داده از منابع مختلف.
نرم افزار های مجرد سازی داده تنها از فراداده ای که از منابع اطلاعاتی استخراج شده است استفاده میکنند و جابجایی فیزیکی داده نیاز نیست.این روش هنگامی که مخازن داده توسط تامین کننده های خارجی در بیرون از سازمان نگهداری میشوند بسیار مفید خواهد بود.این روش پرس و جوهای بلادرنگ،جمع آوری و سازماندهی سریع داده، تحلیل های پیچیده را بدون نیاز به همزمانی منطقی و یا کپی کردن داده ها ممکن می سازد.
برای سازمانهایی که توان مالی بالایی ندارند و نیاز به راه حل سریع و ارزان قیمت دارند استفاده از مجرد سازی داده به جای استفاده ازابزارهای ETL برای ساخت انباره داده فیزیکی توصیه میشود. البته باید توجه داشت که مجرد سازی داده همیشه بهترین انتخاب نیست.برای سازمانهایی که درگیر مقادیر عظیمی از داده و transformation و پالایش پیچیده داده هستند این موضوع سیستم های مبدا را کند میکند. و همچنین جهت سازمانها یی که یک نسخه واحد از اطلاعات قابل اتکا وجود ندارد توصیه نمیشود.ولیکن مجرد سازی داده میتواند یکپارچه سازی انباره های سنتی داده را کامل کند.موارد زیر مثال های موفقی از ترکیب این دو تکنولوژی هستند
a. کاهش ریسک فعالیت گزارش گیری طی جابجایی انباره داده با اضافه کردن یک لایه مجازی بین انباره داده و لایه گزارش گیری
b. پیش اماده سازی داده برای ابزارهای ETL که همیشه به عنوان بهترین رهیافت جهت بارگذاری داده در انباره نیستند(مانند SAP و یا وب سرویس ها)
c. ساخت بازارهای داده مجازی به جای بازارهای داده فیزیکی
d. گسترش انبار داده موجود با افزایش منابع داده ای
e. کسترش master data سازمان که منجر به ایجاد دید مفهومی تری از فعالیت های سازمان میشود.
f. تجمیع (federation) چندین انبار داده فیزیکی در غالب یک انبار داده مجازی
g. یکپارچگی مجازی از انبارداده ها در معماری اطلاعاتی سازمان
h. ساخت سریع الگوی اولیه انبار داده
ابزارهای مجازی سازی –تحلیل بازار
محبوبترین ابزارهای یکپارچه سازی که از data federation را ارائه میدهند شامل موارد زیر هستند
- SAP BusinessObjects Data Federator;
- Sybase Data Federation;
- IBM InfoSphere Federation Server;
- Oracle Data Service Integrator;
- SAS Enterprise Data integration Server
این ابزارها از استانداردهای مختلفی مانند REST, SOAP over HTTP, JMS,POX over HTTP,
JSON over ODBC, JDBC, ADO.NET بهره میجویند و از روش های مختلفی شامل :
query optimization strategies and techniques rule-based and cost-based :parallel processing, SQL pushdown, distributed joins, caching or advanced query optimization.
برای افزایش کارایی استفاده میکنند.