Data Warehouse: تفاوت میان نسخه‌ها

از OCCC Wiki
پرش به ناوبری پرش به جستجو
بدون خلاصۀ ویرایش
بدون خلاصۀ ویرایش
 
(۲۶ نسخهٔ میانیِ ایجادشده توسط همین کاربر نشان داده نشد)
خط ۹: خط ۹:


== بررسی ادبیات موضوع ==
== بررسی ادبیات موضوع ==
کارهایی که در ارتباط با عنوان تحقیق مورد بررسی قرار گرفته است ...


== بدنه تحقیق ==
== انباره‏ سازی‏ داده==
تحلیل هایی که توسط محقق صورت گرفته است (نظیر مقایسه و ارزیابی)
 
**تعریف انبارداده
 
انبارداده، سیستمی است که به صورت دوره ای داده ها را از سیستم های منبع در یک مخزن داده ای ابعادی یا نرمال شده، بازیابی و یکپار چه     
می کند. انبارداده ها، معمولا داده ها را به صورت تاریخچه ای نگه داری می کنند وبرای پاسخ به پرس و جوهای کسب و کار هوشمند  و یا دیگر فعالیت های
تحلیلی از آن استفاده می شود.پرس و جو ,فرایند گرفتن داده از مخزن داده برای مقاصد خا ص است .
 
**ساخت انباره داده
با توجه به آنکه داده های اطلاعاتی در یک دوره زمانی می توانند با فواصل طولانی  در مکانهای گوناگون واز طریق  منابع متفاوت تولید و یا تغییر نمایند دسترسی سریع  وصحیح به آنها کاری بس  دشوار است .از این جهت ذخیره سازی آنها در یک منبع داده یکپارچه ضروری به نظر می رسد . برای ایجاد چنین منبع داده ای مراحل زیر رادر نظر می گیریم .
 
نقطه شروع طراحی و ساخت انبار داده تعیین نوعData Model می باشد .
انواع Data Model:
 
**شمای ستاره ای
 
**شمای برف دانه ای
 
**شمای کهکشانی
معماری هر یک در شکل زیر ترسیم گردیده است .
 
 
شمای ستاره ای , این نوع شما ساده ترین نوع Data Model می باشد .
[[پرونده:star.jpg|بی‌قاب|وسط|600px]]
 
شمای برف دانه ای
[[پرونده:snow.jpg|بی‌قاب|وسط|600px]]
 
شمای کهکشانی
[[پرونده:kah.jpg|بی‌قاب|وسط|600px]]
 
سپس تکنولوژی  سخت افزار و نرم افزار را انتخاب می کنیم .فاکتور هایی که در این خصوص در نظر گرفته می شود حجم داده -سرعت دسترسی به داده ها -میزان نیاز به تاریخچه داده ها در انبارداده -تعدا کاربران -هزینه راع اندازی و ... می یباشد .
 
انبار داده را بروی سخت افزارهای MainFrame - ClientServer  می توان راه اندازی کرد .حال  نوبت به جمع آوری اطلاعات می باشد که با انتخاب استراتژی انتقال داده, داده های اطلاعاتی مورد نظر راجمع آوری  و براساس موضوع آنها را در Subject Area  های مختلف تقسیم بندی می کنیم .
شکل زیر بیانگر استراتژی های انتقال داده می باشد .انتقال وبازیابی داده باروتین هایی به نام ETL انجام می شود .
[[پرونده:trans.jpg|بی‌قاب|وسط|600px]]
هنگام انتقال داده این مهم را در نظر می گیریم که فقط داده ها ی مورد نیاز را انتخاب  و از انتقال تمامی داده ها و حجم بالای آنان  خودداری کنیم .
به عنوان مثال درشکل زیراطلاعات مالی -حسابداری -بازار یابی وفروش  از یک شرکت انتخاب شده است واز انتخاب  سایر دادها ی سازمانی -اداری خودداری شده است . 
[[پرونده:trans2.jpg|بی‌قاب|وسط|600px]]
همانگونه که پیشتر گفته شد پس از انتخاب داده ها انها را در Subject Area های گوناگون تقسیم بندی می کنیم . هر Subject Area می تواندشامل چند جدول از بانک اطلاعاتی باشد .فیلدهای هر جدول با توجه به نیاز کاربران نهایی (KPI های تعیین شده جهت ایجاد پرس و جو)و رعایت قوانین جامعیت بانکهای رابطه ای طراحی می گردد.به هر رکورد جدول علاوه برساختار داده ای تاریخ و زمان ایجاد دیتا نیز اضافه می گردد .
 
[[پرونده:trans4.jpg|بی‌قاب|وسط|600px]]
 
 
[[پرونده:trans5.jpg|بی‌قاب|وسط|600px]]
 
پس از ساخت اولیه انبار داده با توجه به تغییر آنها با گذشت زمان , نیاز به انتقال تغییرات به انباره داده است .
[[پرونده:trans7.jpg|بی‌قاب|وسط|600px]]
 
و در نهایت کاربران نهایی گزارشات مورد نیاز خود را به راحتی اسخراج می کنند.
[[پرونده:trans8.jpg|بی‌قاب|وسط|600px]]
 
**ETL
ETL سیستمی است که توانایی اتصال به سیستم های منبع، خواندن داده ها، اعمال تغییرات روی آنها و بارگذاری در سیستم  اصلی را دارد.سیستمETLداده
ها ارا از منابع مختلف جمع آوری یکپارچه، تبدیل  و در مخزن داده بارگذاری می کند .
 
سیستمETL توسط سیستم  کنترل ، بر اساس قوانین  و منطق متاداده،مدیریت و هماهنگی می شود.
متاداده، پایگاه داده ای است حاوی اطلاعاتی درباره ساختار دادها، معنی داده ها، مورد کاربرد آنها، قوانین  کیفیت داده و سایر اطلاعاتی که در مورد دادها مورد اهمیت است، می باشد .ساده ترین  سیستم  انبارداده، تنها دارای یک سیستمETL و یک مخزن داده ابعادی می باشد.
[[پرونده:Etl.jpg|بی‌قاب|وسط|600px]]
==یکپارچه سازی  ==


== نتیجه گیری ==
== نتیجه گیری ==
خط ۲۰: خط ۷۷:


Park, Taeil, and Hyoungkwan Kim. "A data warehouse-based decision support system for sewer infrastructure management." Automation in Construction 30 (2013): 37-49.
Park, Taeil, and Hyoungkwan Kim. "A data warehouse-based decision support system for sewer infrastructure management." Automation in Construction 30 (2013): 37-49.
BV, SCN Education. Data warehousing: the ultimate guide to building corporate business intelligence. Springer Science & Business Media, 2013.
Awogbamila, Y., and A. B. Adeyemo. "DESIGN OF AN INTEGRATED AGRARIAN DATA DIMENSIONAL DATA WAREHOUSE."
Yoo, Sooyoung, et al. "Electronically implemented clinical indicators based on a data warehouse in a tertiary hospital: its clinical benefit and effectiveness." International journal of medical informatics 83.7 (2014): 507-516.
Oktavia, Tanty. "Implementing Data Warehouse As A Foundation For Decision Support System (Perspective: Technical And Nontechnical Factors)." Journal of Theoretical and Applied Information Technology 60.3 (2014): 476-482.
Kimball, Ralph, and Margy Ross. The data warehouse toolkit: the complete guide to dimensional modeling. John Wiley & Sons, 2011.
Khan, Abeer, et al. "Integration between customer relationship management (CRM) and data warehousing." Procedia Technology 1 (2012): 239-249.

نسخهٔ کنونی تا ‏۴ فوریهٔ ۲۰۱۶، ساعت ۱۵:۴۹

  • موضوع: Data Warehouseing
  • تهیه کننده: فرناز کرمی

چکیده

مقدمه

خلاصه ای از بررسی خود موضوع اصلی و تعاریف موجود در آن و ...

بررسی ادبیات موضوع

انباره‏ سازی‏ داده

    • تعریف انبارداده

انبارداده، سیستمی است که به صورت دوره ای داده ها را از سیستم های منبع در یک مخزن داده ای ابعادی یا نرمال شده، بازیابی و یکپار چه می کند. انبارداده ها، معمولا داده ها را به صورت تاریخچه ای نگه داری می کنند وبرای پاسخ به پرس و جوهای کسب و کار هوشمند و یا دیگر فعالیت های تحلیلی از آن استفاده می شود.پرس و جو ,فرایند گرفتن داده از مخزن داده برای مقاصد خا ص است .

    • ساخت انباره داده

با توجه به آنکه داده های اطلاعاتی در یک دوره زمانی می توانند با فواصل طولانی در مکانهای گوناگون واز طریق منابع متفاوت تولید و یا تغییر نمایند دسترسی سریع وصحیح به آنها کاری بس دشوار است .از این جهت ذخیره سازی آنها در یک منبع داده یکپارچه ضروری به نظر می رسد . برای ایجاد چنین منبع داده ای مراحل زیر رادر نظر می گیریم .

نقطه شروع طراحی و ساخت انبار داده تعیین نوعData Model می باشد . انواع Data Model:

    • شمای ستاره ای
    • شمای برف دانه ای
    • شمای کهکشانی

معماری هر یک در شکل زیر ترسیم گردیده است .


شمای ستاره ای , این نوع شما ساده ترین نوع Data Model می باشد .

Star.jpg

شمای برف دانه ای

Snow.jpg

شمای کهکشانی

Kah.jpg

سپس تکنولوژی سخت افزار و نرم افزار را انتخاب می کنیم .فاکتور هایی که در این خصوص در نظر گرفته می شود حجم داده -سرعت دسترسی به داده ها -میزان نیاز به تاریخچه داده ها در انبارداده -تعدا کاربران -هزینه راع اندازی و ... می یباشد .

انبار داده را بروی سخت افزارهای MainFrame - ClientServer می توان راه اندازی کرد .حال نوبت به جمع آوری اطلاعات می باشد که با انتخاب استراتژی انتقال داده, داده های اطلاعاتی مورد نظر راجمع آوری و براساس موضوع آنها را در Subject Area های مختلف تقسیم بندی می کنیم . شکل زیر بیانگر استراتژی های انتقال داده می باشد .انتقال وبازیابی داده باروتین هایی به نام ETL انجام می شود .

Trans.jpg

هنگام انتقال داده این مهم را در نظر می گیریم که فقط داده ها ی مورد نیاز را انتخاب و از انتقال تمامی داده ها و حجم بالای آنان خودداری کنیم . به عنوان مثال درشکل زیراطلاعات مالی -حسابداری -بازار یابی وفروش از یک شرکت انتخاب شده است واز انتخاب سایر دادها ی سازمانی -اداری خودداری شده است .

Trans2.jpg

همانگونه که پیشتر گفته شد پس از انتخاب داده ها انها را در Subject Area های گوناگون تقسیم بندی می کنیم . هر Subject Area می تواندشامل چند جدول از بانک اطلاعاتی باشد .فیلدهای هر جدول با توجه به نیاز کاربران نهایی (KPI های تعیین شده جهت ایجاد پرس و جو)و رعایت قوانین جامعیت بانکهای رابطه ای طراحی می گردد.به هر رکورد جدول علاوه برساختار داده ای تاریخ و زمان ایجاد دیتا نیز اضافه می گردد .

Trans4.jpg


Trans5.jpg

پس از ساخت اولیه انبار داده با توجه به تغییر آنها با گذشت زمان , نیاز به انتقال تغییرات به انباره داده است .

Trans7.jpg

و در نهایت کاربران نهایی گزارشات مورد نیاز خود را به راحتی اسخراج می کنند.

Trans8.jpg
    • ETL

ETL سیستمی است که توانایی اتصال به سیستم های منبع، خواندن داده ها، اعمال تغییرات روی آنها و بارگذاری در سیستم اصلی را دارد.سیستمETLداده ها ارا از منابع مختلف جمع آوری یکپارچه، تبدیل و در مخزن داده بارگذاری می کند .

سیستمETL توسط سیستم کنترل ، بر اساس قوانین و منطق متاداده،مدیریت و هماهنگی می شود. متاداده، پایگاه داده ای است حاوی اطلاعاتی درباره ساختار دادها، معنی داده ها، مورد کاربرد آنها، قوانین کیفیت داده و سایر اطلاعاتی که در مورد دادها مورد اهمیت است، می باشد .ساده ترین سیستم انبارداده، تنها دارای یک سیستمETL و یک مخزن داده ابعادی می باشد.

Etl.jpg

یکپارچه سازی

نتیجه گیری

نتیجه ای که در نهایت حاصل شده است.

مراجع

Park, Taeil, and Hyoungkwan Kim. "A data warehouse-based decision support system for sewer infrastructure management." Automation in Construction 30 (2013): 37-49.

BV, SCN Education. Data warehousing: the ultimate guide to building corporate business intelligence. Springer Science & Business Media, 2013.

Awogbamila, Y., and A. B. Adeyemo. "DESIGN OF AN INTEGRATED AGRARIAN DATA DIMENSIONAL DATA WAREHOUSE."

Yoo, Sooyoung, et al. "Electronically implemented clinical indicators based on a data warehouse in a tertiary hospital: its clinical benefit and effectiveness." International journal of medical informatics 83.7 (2014): 507-516.

Oktavia, Tanty. "Implementing Data Warehouse As A Foundation For Decision Support System (Perspective: Technical And Nontechnical Factors)." Journal of Theoretical and Applied Information Technology 60.3 (2014): 476-482.

Kimball, Ralph, and Margy Ross. The data warehouse toolkit: the complete guide to dimensional modeling. John Wiley & Sons, 2011.

Khan, Abeer, et al. "Integration between customer relationship management (CRM) and data warehousing." Procedia Technology 1 (2012): 239-249.