Data Warehouse: تفاوت میان نسخه‌ها
(←ETL) |
بدون خلاصۀ ویرایش |
||
| خط ۴۴: | خط ۴۴: | ||
انبار داده را بروی سخت افزارهای MainFrame - ClientServer می توان راه اندازی کرد .حال نوبت به جمع آوری اطلاعات می باشد که با انتخاب استراتژی انتقال داده, داده های اطلاعاتی مورد نظر راجمع آوری و براساس موضوع آنها را در Subject Area های مختلف تقسیم بندی می کنیم . | انبار داده را بروی سخت افزارهای MainFrame - ClientServer می توان راه اندازی کرد .حال نوبت به جمع آوری اطلاعات می باشد که با انتخاب استراتژی انتقال داده, داده های اطلاعاتی مورد نظر راجمع آوری و براساس موضوع آنها را در Subject Area های مختلف تقسیم بندی می کنیم . | ||
شکل زیر بیانگر استراتژی های انتقال داده می باشد .انتقال داده | شکل زیر بیانگر استراتژی های انتقال داده می باشد .انتقال وبازیابی داده باروتین هایی به نام ETL انجام می شود . | ||
[[پرونده:trans.jpg|بی‌قاب|وسط|600px]] | [[پرونده:trans.jpg|بی‌قاب|وسط|600px]] | ||
هنگام انتقال داده این مهم را در نظر می گیریم که فقط داده ها ی مورد نیاز را انتخاب و از انتقال تمامی داده ها و حجم بالای آنان خودداری کنیم . | هنگام انتقال داده این مهم را در نظر می گیریم که فقط داده ها ی مورد نیاز را انتخاب و از انتقال تمامی داده ها و حجم بالای آنان خودداری کنیم . | ||
| خط ۶۹: | خط ۶۹: | ||
متاداده، پایگاه داده ای است حاوی اطلاعاتی درباره ساختار دادها، معنی داده ها، مورد کاربرد آنها، قوانین کیفیت داده و سایر اطلاعاتی که در مورد دادها مورد اهمیت است، می باشد .ساده ترین سیستم انبارداده، تنها دارای یک سیستمETL و یک مخزن داده ابعادی می باشد. | متاداده، پایگاه داده ای است حاوی اطلاعاتی درباره ساختار دادها، معنی داده ها، مورد کاربرد آنها، قوانین کیفیت داده و سایر اطلاعاتی که در مورد دادها مورد اهمیت است، می باشد .ساده ترین سیستم انبارداده، تنها دارای یک سیستمETL و یک مخزن داده ابعادی می باشد. | ||
[[پرونده:Etl.jpg|بی‌قاب|وسط|600px]] | [[پرونده:Etl.jpg|بی‌قاب|وسط|600px]] | ||
==یکپارچه سازی == | |||
== | |||
== نتیجه گیری == | == نتیجه گیری == | ||
نسخهٔ ۴ فوریهٔ ۲۰۱۶، ساعت ۱۶:۴۷
- موضوع: Data Warehouseing
- تهیه کننده: فرناز کرمی
چکیده
مقدمه
خلاصه ای از بررسی خود موضوع اصلی و تعاریف موجود در آن و ...
بررسی ادبیات موضوع
انباره سازی داده
تعریف انبارداده
انبارداده، سیستمی است که به صورت دوره ای داده ها را از سیستم های منبع در یک مخزن داده ای ابعادی یا نرمال شده، بازیابی و یکپار چه می کند. انبارداده ها، معمولا داده ها را به صورت تاریخچه ای نگه داری می کنند وبرای پاسخ به پرس و جوهای کسب و کار هوشمند و یا دیگر فعالیت های تحلیلی از آن استفاده می شود.پرس و جو ,فرایند گرفتن داده از مخزن داده برای مقاصد خا ص است .
ساخت انباره داده
با توجه به آنکه داده های اطلاعاتی در یک دوره زمانی می توانند با فواصل طولانی در مکانهای گوناگون واز طریق منابع متفاوت تولید و یا تغییر نمایند دسترسی سریع وصحیح به آنها کاری بس دشوار است .از این جهت ذخیره سازی آنها در یک منبع داده یکپارچه ضروری به نظر می رسد . برای ایجاد چنین منبع داده ای مراحل زیر رادر نظر می گیریم .
نقطه شروع طراحی و ساخت انبار داده تعیین نوعData Model می باشد . انواع Data Model:
- شمای ستاره ای
- شمای برف دانه ای
- شمای کهکشانی
معماری هر یک در شکل زیر ترسیم گردیده است .
شمای ستاره ای , این نوع شما ساده ترین نوع Data Model می باشد .
شمای برف دانه ای
شمای کهکشانی
سپس تکنولوژی سخت افزار و نرم افزار را انتخاب می کنیم .فاکتور هایی که در این خصوص در نظر گرفته می شود حجم داده -سرعت دسترسی به داده ها -میزان نیاز به تاریخچه داده ها در انبارداده -تعدا کاربران -هزینه راع اندازی و ... می یباشد .
انبار داده را بروی سخت افزارهای MainFrame - ClientServer می توان راه اندازی کرد .حال نوبت به جمع آوری اطلاعات می باشد که با انتخاب استراتژی انتقال داده, داده های اطلاعاتی مورد نظر راجمع آوری و براساس موضوع آنها را در Subject Area های مختلف تقسیم بندی می کنیم . شکل زیر بیانگر استراتژی های انتقال داده می باشد .انتقال وبازیابی داده باروتین هایی به نام ETL انجام می شود .
هنگام انتقال داده این مهم را در نظر می گیریم که فقط داده ها ی مورد نیاز را انتخاب و از انتقال تمامی داده ها و حجم بالای آنان خودداری کنیم . به عنوان مثال درشکل زیراطلاعات مالی -حسابداری -بازار یابی وفروش از یک شرکت انتخاب شده است واز انتخاب سایر دادها ی سازمانی -اداری خودداری شده است .
همانگونه که پیشتر گفته شد پس از انتخاب داده ها انها را در Subject Area های گوناگون تقسیم بندی می کنیم . هر Subject Area می تواندشامل چند جدول از بانک اطلاعاتی باشد .فیلدهای هر جدول با توجه به نیاز کاربران نهایی (KPI های تعیین شده جهت ایجاد پرس و جو)و رعایت قوانین جامعیت بانکهای رابطه ای طراحی می گردد.به هر رکورد جدول علاوه برساختار داده ای تاریخ و زمان ایجاد دیتا نیز اضافه می گردد .
پس از ساخت اولیه انبار داده با توجه به تغییر آنها با گذشت زمان , نیاز به انتقال تغییرات به انباره داده است .
و در نهایت کاربران نهایی گزارشات مورد نیاز خود را به راحتی اسخراج می کنند.
ETL
ETL سیستمی است که توانایی اتصال به سیستم های منبع، خواندن داده ها، اعمال تغییرات روی آنها و بارگذاری در سیستم اصلی را دارد.سیستمETLداده ها ارا از منابع مختلف جمع آوری یکپارچه، تبدیل و در مخزن داده بارگذاری می کند .
سیستمETL توسط سیستم کنترل ، بر اساس قوانین و منطق متاداده،مدیریت و هماهنگی می شود. متاداده، پایگاه داده ای است حاوی اطلاعاتی درباره ساختار دادها، معنی داده ها، مورد کاربرد آنها، قوانین کیفیت داده و سایر اطلاعاتی که در مورد دادها مورد اهمیت است، می باشد .ساده ترین سیستم انبارداده، تنها دارای یک سیستمETL و یک مخزن داده ابعادی می باشد.
یکپارچه سازی
نتیجه گیری
نتیجه ای که در نهایت حاصل شده است.
مراجع
Park, Taeil, and Hyoungkwan Kim. "A data warehouse-based decision support system for sewer infrastructure management." Automation in Construction 30 (2013): 37-49.
BV, SCN Education. Data warehousing: the ultimate guide to building corporate business intelligence. Springer Science & Business Media, 2013.
Awogbamila, Y., and A. B. Adeyemo. "DESIGN OF AN INTEGRATED AGRARIAN DATA DIMENSIONAL DATA WAREHOUSE."
Yoo, Sooyoung, et al. "Electronically implemented clinical indicators based on a data warehouse in a tertiary hospital: its clinical benefit and effectiveness." International journal of medical informatics 83.7 (2014): 507-516.
Oktavia, Tanty. "Implementing Data Warehouse As A Foundation For Decision Support System (Perspective: Technical And Nontechnical Factors)." Journal of Theoretical and Applied Information Technology 60.3 (2014): 476-482.
Kimball, Ralph, and Margy Ross. The data warehouse toolkit: the complete guide to dimensional modeling. John Wiley & Sons, 2011.
Khan, Abeer, et al. "Integration between customer relationship management (CRM) and data warehousing." Procedia Technology 1 (2012): 239-249.