bebyhoneylovely
New Member
Download miễn phí Đề tài Xây dựng data warehouse
MỤC LỤC
Lời Thank 1
PHẦN I. KHÁI NIỆM DATA WAREHOUSE 2
Chương 1. Lịch sử phát triển của data warehouse 4 4
1.1. Thời kì tiền sử - trước năm 1980 7
1.2. Thời kì trung đại - từ giữa những năm 80 đến cuối những năm 80 8
1.3. Cuộc cách mạng dữ liệu - những năm đầu thập kỉ 90 10
1.4. Kỉ nguyên của quản lý dùa trên thông tin - tới những
năm của thế kỉ 21 11 11
1.5. Kết luận 13
Chương 2. Những khái niệm về data warehouse 15 15
2.1. Data warehouse là gì 15
2.2. Kiến trúc của data warehouse 18
2.2.1. Kiến trúc cơ bản18 18
2.2.2. Kiến trúc data warehouse có thêm
líp data mart và bước đệm xử lý20 20
Chương 3. Kiến trúc dữ liệu của data warehouse 29 29
3.1. Hệ thống thông tin và hệ thống tác nghiệp 29
3.2. Kiến trúc dữ liệu của data warehouse 32
3.2.1 Mô hình dữ liệu đa chiều (multidimensional data)32 32
3.2.2. Mô hình dữ liệu thực tế của data warehouse35 35
PHẦN II. XÂY DỰNG DATA WAREHOUSE CHO CHỦ ĐỀ "HỢP ĐỒNG
KHAI THÁC" CHO CÔNG TY BẢO VIỆT NHÂN THỌ 39
Chương 4. Tìm hiểu vấn đề 41
4.1. Đặc điểm của công ty Bảo Việt Nhân Thọ 41
4.2. Hệ thống dữ liệu hiện nay 45
Chương 5. Mô hình xây dựng Data Warehouse
cho chủ đề "Hợp đồng khai thác" 47
5.1. Mô hình tổng quát 47
5.2. Mô hình chi tiết 48
Chương 6. Triển khai mô hình và kết quả 56
6.1. Mô hình dữ liệu 56
6.1.1. Mô hình dữ liệu data source57 57
6.1.2. Mô hình dữ liệu data warehouse58 58
6.1.3. Mô hình dữ liệu staging area61 61
6.2. Chương trình triển khai 63
6.3. Kết quả 69
Kết luận 71
Tài liệu tham khảo 72
Để tải bản Đầy Đủ của tài liệu, xin Trả lời bài viết này, Mods sẽ gửi Link download cho bạn sớm nhất qua hòm tin nhắn.
Ai cần download tài liệu gì mà không tìm thấy ở đây, thì đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
Tóm tắt nội dung tài liệu:
c. Mỗi một lần làm động tác "chụp ảnh" là một lần dữ liệu được cập nhật vào data warehouse. Có nhiều cách để ghi lại sự thay đổi về dữ liệu trong data warehouse. Dữ liệu có thể được :Sao lưu toàn bộ sau mỗi chu kì kinh doanh.
Chỉ ghi nhận những phần khác biệt.
Tạo mét tem thời gian cho mỗi lần thay đổi.
Cài đặt thêm các tác nhân (trigger) vào cơ sở dữ liệu để "bắt" các thay đổi ở mức dữ liệu và tạo ra file log để lưu các thay đổi này.
Đây là một vấn đề khó khăn và phức tạp đối với người xây dựng hệ quản trị cơ sở dữ liệu. Nó cũng là một trong những vấn đề kĩ thuật nan giải cần giải quyết trong công nghệ data warehouse.
d) Líp Data mart :
Về cơ bản có thể định nghĩa Data mart là một data warehouse ở phạm vi phòng ban hay vùng. Dữ liệu lưu trong data mart cũng chính là một phần dữ liệu lưu trong data warehouse. Thực chất chúng có cùng cấu trúc. Chỉ có một điểm khác biệt nhỏ là trong data mart dữ liệu được tổng hợp sẵn theo một lĩnh vực nào đó và chỉ phục vụ cho một nhóm người nhất định trong tổ chức nhằm phục vụ những yêu cầu kinh doanh đặc biệt.
Data mart được chia làm hai loại là data mart phục thuộc (dependent) và data mart độc lập (independent). Tính độc lập hay phụ thuộc ở đây ngụ ý rằng nó được xây dựng một cách độc lập hay được xây dựng từ data warehouse. Nhiều doanh nghiệp chọn giải pháp xây dựng data mart độc lập rồi mới xây dựng data warehouse. Điều này làm giảm đáng kể chi phí ban đầu cũng như độ phức tạp của dự án vì thông thường data mart có qui mô nhỏ hơn, dễ quản lí hơn và cũng dễ xây dựng hơn.
Trong mô hình kiến trúc của data warehouse thì líp data mart nằm giữa líp người dùng và líp data warehouse thực chất là data mart phụ thuộc. Data mart này đã được chuẩn bị sẵn để phục vụ một số nhu cầu đã được tính trước ở mức phòng ban. Người sử dụng data mart này cũng là những người dùng có nhu cầu cụ thể trong một vài lĩnh vực nào đó. Do vậy, data mart được xem là có cấu trúc ở mức phòng ban còn data warehouse có cấu trúc mức doanh nghiệp. Điểm khác biệt về cấu trúc này còn được thể hiện ở chỗ dữ liệu trong data warehouse được thể hiện dưới dạng sao, bông tuyết trong khi đó ở data mart dữ liệu thường được thể hiện dưới dạng hộp hay đa chiều.
e) Tiến trình phân bổ dữ liệu đến người dùng cuối :
Mục tiêu chính khi xây dựng data warehouse chính là để khai thác thông tin, chính vì thế tiến trình phân bổ dữ liệu đến người dùng cuối là tiến trình có nhiều ý nghĩa hơn cả. Tuy nhiên, data warehouse thực chất là một hệ quản trị cơ sở dữ liệu được tăng cường các chức năng đặc biệt để đáp ứng yêu cầu của nhiệm vụ mới, chính vì thế bản thân nó không có chức năng khai thác.
Mặc dù người dùng cuối hoàn toàn có thể dùng các câu lệnh truy vấn dữ liệu SQL để khai thác dữ liệu trong data warehouse nhưng điều đó là không khả thi và không có ý nghĩa khi mà khối lượng dữ liệu cần truy xuất là rất lớn và yêu cầu về dữ liệu lại phức tạp, đa dạng. Chính vì vậy, thông thường tiến trình phân bổ dữ liệu thường do một chương trình khai thác dữ liệu riêng biệt đảm trách. Các chương trình này thường được gọi là OLAP server để chỉ rõ rằng chúng là những ứng dụng OLAP và có nhiệm vụ như một server dữ liệu.
Tiến trình phân bổ dữ liệu được chia thành hai tiến trình nhá :
Tiến trình phân bổ dữ liệu vào data mart : tiến trình này do data warehouse đảm nhiệm, có nghĩa là nó có thể được thực hiện một cách tự động và chính xác bởi các thủ tục được cài sẵn trong data warehouse mà không cần sự can thiệp từ bên ngoài. Các thủ tục này cần được viết trước.
Tiến trình phân bổ dữ liệu tới người dùng cuối : người dùng cuối có thể khai thác trực tiếp dữ liệu từ data warehouse thông qua các công cụ khai thác OLAP, đồng thời họ cũng có thể lấy dữ liệu từ data mart. Trong trường hợp này do được phân hoạch và tổng hợp sẵn nên tốc độ truy xuất cũng như hiệu quả công việc sẽ cao hơn. Những báo cáo nhiều chiều định kì hoàn toàn có thể được thực hiện nhanh chóng thông qua việc truy xuất data mart.
g) Líp ứng dông :
Khi xây dựng một hệ thống mới người ta thường phải tính đến lợi tức đầu tư (ROI). Với data warehouse cũng vậy, sẽ là rất tốn kém và Ýt hiệu quả nếu chỉ có một số lượng Ýt người dùng có thể truy xuất dữ liệu từ data warehouse. Nghịch lí về đầu tư và thu hoạch trong data warehouse chỉ có thể được giải quyết khi rất nhiều người sử dụng cùng có thể khai thác được data warehouse. Đây chính là lÝ do khiến cho việc phát triển các ứng dụng sử dụng data warehouse trở nên sôi động và phát triển mạnh mẽ hơn lúc nào hết. Sau đây chúng ta xem xét một số líp ứng dụng chính với mục đích giới thiệu chứ không đi vào chi tiết.
Sử dông intranet, internet : để đưa được thông tin đến với nhiều người dùng thì cách thức tốt hơn cả là sử dụng mạng thông tin. Intranet là cách thức đầu tiên được nghĩ tới bởi nó vừa có khả năng nhanh chóng đưa thông tin tới người dùng cuối lại vừa có tính an toàn cao. Mạng nội bộ của công ty là mảnh đất màu mỡ để khai thác và đưa các ứng dụng data warehouse đến với người dùng. Tiếp đến sẽ là sử dụng Internet và các giao thức truyền thông cơ bản trên Internet. Thế mạnh nổi trội của các ứng dụng sử dụng Internet là không cần cài đặt một ứng dụng đặc biệt nào ở phía người sử dụng. Toàn bộ ứng dụng có thể cài đặt ở phía server ứng dụng Web. Việc cập nhật, chỉnh sửa và phát triển ứng dụng hoàn toàn độc lập với người dùng. Cho đến nay các ứng dụng chạy trên web mà cụ thể là chuỵ trên giao thức HTTP (HyperText Transfer Protocol) đang được phát triển một cách nhanh chóng và đã trở nên không thua kém gì các ứng dụng chạy trên mô hình khách/chủ về mặt giao diện cũng như độ phức tạp. Các hãng sản xuất hệ quản trị cơ sở dữ liệu nổi tiếng cũng như nhiều hãng thứ ba khác đã chế tạo rất nhiều công cụ cho phép lập trình viên có thể dễ dàng viết các ứng dụng trên web truy xuất cơ sở dữ liệu hay đơn giản hơn là chỉ cần dịch lại các chương trình chạy trên mô hình khách/chủ thành ứng dụng chạy trên web.
Sử dụng các phần mềm đầu cuối : các phần mềm đầu cuối là các phần mềm giao tiếp trực tiếp với người dùng cuối. Số lượng và chủng loại của các phần mềm kiểu này hiện nay rất đa dạng. Chúng có thể hỗ trợ những tác vụ từ đơn giản như lập các báo cáo, tìm duyệt dữ liệu hay phức tạp hơn như hỗ trợ các câu truy vấn phức tạp đặc biệt hay cũng có thể là những phần mềm chuyên dụng để khai phá tri thức, hỗ trợ quyết định sử dụng data warehouse.
Như vậy nhìn tổng thể ta có thể thấy được kiến trúc của data warehouse là khá phức tạp. Mô hình cho thấy theo chiều hướng từ trái qua phải thì tính thông tin của dữ liệu ngày càng được thể hiện rõ hơn và tại líp ứng dụng, người dùng cuối được sự hỗ trợ của các công cụ khai thác dữ liệu có thể dễ dàng lấy được các thông tin trong data warehouse.
Kiến trúc của data warehouse được đề cập ở phần trên chỉ là một mô hình c
Tags: xây dựng datawarehouse