hong_phuong_bui
New Member
Luận văn: Kho dữ liệu và ứng dụng xây dựng hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia : Luận văn ThS. Công nghệ thông tin: 60 48 10
Nhà xuất bản: ĐHCN
Ngày: 2009
Chủ đề: Chính sách tiền tệ quốc gia
Công nghệ thông tin
Kho dữ liệu
Phần mềm máy tính
Miêu tả: 75 tr. + CD-ROM
Luận văn ThS. Công nghệ phần mềm -- Trường Đại học Công nghệ. Đại học Quốc gia Hà Nội, 2009
Hệ thống hóa cơ sở lý luận về kho dữ liệu, kho dữ liệu chuyên đề, kiến trúc thành phần của Data Warehouse, các mô hình thiết kế cơ sở dữ liệu. Giới thiệu các công cụ Oracle trợ giúp phát triển Data Warehouse, cụ thể về kiến trúc, chức năng chính, thành phần, các đối tượng, các bước sử dụng và những ưu điểm nổi bật khi sử dụng Warehouse Builder. Trình bày một số ứng dụng của Data Warehouse xây dựng hệ thống báo cáo thống kê cho ngân hàng nhà nước để đưa ra các quyết định về chính sách tiền tệ quốc gia. Tiến hành xây dựng kho dữ liệu Data Warehouse, phục vụ cho việc khai thác báo cáo. Tiến hành tổ chức khai thác báo cáo với kho dữ liệu và ứng dụng xây dựng hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia như: giải pháp xây dựng hệ thống; chiến lược xây dựng hệ thống; các bước xây dựng, mô hình khai thác báo cáo và cài đặt hệ thống báo cáo
MỞ ĐẦU ........................................................................................................................................ 1
Chương I KHÁI NIỆM VỀ KHO DỮ LIỆU ............................................................................ 4
1.1 Khái niệm về kho dữ liệu
4
1.1.1 Định nghĩa ......................................................................................... 4
1.1.2 Các tính chất của Data Warehouse ..................................................... 6
1.1.2.1 Hướng chủ đề ............................................................................. 6
1.1.2.2 Tính ổn định ............................................................................... 6
1.1.2.3 Được tích hợp ............................................................................. 7
1.1.2.4 Gắn với thời gian ........................................................................ 7
1.1.3 Cơ sở dữ liệu tác nghiệp và kho dữ liệu ............................................. 7
1.2 Kiến trúc thành phần của Data Warehouse
8
1.2.1 Các loại kiến trúc của Data Warehouse .............................................. 8
1.2.2 Các thành phần cơ bản của kiến trúc Data Warehouse ..................... 10
1.2.3 Các lược đồ dữ liệu của Data Warehouse ........................................ 11
1.2.3.1 Lược đồ hình sao ...................................................................... 11
1.2.3.2 Lược đồ bông tuyết ................................................................... 13
1.3 Các mô hình thiết kế cơ sở dữ liệu
14
1.3.1 Mô hình dữ liệu lôgíc ...................................................................... 14
1.3.2 Mô hình dữ liệu vật lý ..................................................................... 15
1.4 Kho dữ liệu chuyên đề
16
1.4.1 Khái niệm kho dữ liệu chuyên đề..................................................... 17
1.4.2 Sự khác nhau giữa Data Warehouse và Data Mart ........................... 17
1.4.3 Các dạng cơ bản của Data Mart ....................................................... 17
Chương II CÔNG CỤ ORACLE TRỢ GIÚP PHÁT TRIỂN DATA WAREHOUSE VÀ
DATAMART ............................................................................................................................... 20
2.1 Kiến trúc của Warehouse Builder
20
2.1.1 Môi trường thiết kế .......................................................................... 20
2.1.2 Môi trường vận hành ....................................................................... 22
2.2 Các chức năng chính của Warehouse Builder
22
2.3 Các thành phần của Warehouse Builder
22
2.3.1 Ứng dụng phía khách của Warehouse Builder Client Application ... 22
2.3.2 Dịch vụ nền vận hành Warehouse Builder ....................................... 23
2.3.3 Kho lưu trữ thiết kế của Warehouse Builder .................................... 23
2.3.4 Kho lưu trữ vận hành của Warehouse Builder ................................. 23
2.3.5 Trình duyệt báo cáo kiểm toán ......................................................... 23
2.3.6 Trình duyệt báo cáo siêu dữ liệu ...................................................... 24
2.4 Các đối tượng của Warehouse Builder
24
2.5 Các bước sử dụng Warehouse Builder
25
2.5.1 Định nghĩa các đối tượng nguồn và đích .......................................... 25
2.5.2 Định nghĩa các đối tượng để trích lọc, chuyển đổi và tải dữ liệu ...... 25
2.5.3 Thẩm định và sinh mã...................................................................... 25
2.5.4 Triển khai và thực thi ....................................................................... 25
2.6 Những ưu điểm nổi bật khi sử dụng Warehouse Builder
25
2.6.1 Nắm bắt các thay đổi của dữ liệu ..................................................... 26
2.6.2 Các bảng ngoại, hàm bảng, cơ chế đường ống và lệnh MERGE ...... 26
2.6.3 Khung nhìn làm tư liệu làm tươi nhanh dữ liệu ................................ 27
Chương III ỨNG DỤNG DATA WAREHOUSE XÂY DỰNG HỆ THỐNG BÁO CÁO
THỐNG KÊ CHO NGÂN HÀNG NHÀ NƯỚC .................................................................... 28
3.1 Mô hình nghiệp vụ của hệ thống Báo cáo thống kê NHNN
28
3.1.1 Sơ đồ luồng thông tin của hệ thống Báo cáo thống kê ...................... 28
3.1.2 Hệ thống các chỉ tiêu của Báo cáo thống kê ..................................... 29
3.1.3 Hệ thống các tài khoản kế toán ........................................................ 31
3.1.4 Nội dung của báo cáo thống kê ........................................................ 32
3.1.5 Nội dung của báo cáo Tài chính ....................................................... 36
3.1.6 Hoạt động nghiệp vụ của một số đơn vị của NHNN ........................ 39
3.1.7 Yêu cầu nghiệp vụ của hệ thống khai thác báo cáo .......................... 40
3.1.7.1 Yêu cầu cụ thể của hệ thống báo cáo ........................................ 41
3.1.7.2 Các loại báo cáo cần phát triển ................................................. 41
3.2 Xây dựng kho dữ liệu Data Warehouse phục vụ cho việc khai thác báo
cáo
43
3.2.1 Xây dựng cơ sở dữ liệu theo chuẩn Data Warehouse ....................... 43
3.2.1.1 Kiến trúc của Data Warehouse Báo cáo thống kê ...................... 43
3.2.1.2 Kết cấu của Data Warehouse Báo cáo thống kê ........................ 45
3.2.1.3 Các bước cài đặt vật lý data warehouse ..................................... 50
3.2.2 Xây dựng qui trình tích hợp dữ liệu cho Data Warehouse ................ 51
3.2.2.1 Xây dựng giải pháp tích hợp dữ liệu vào kho dữ liệu Báo cáo
thống kê ................................................................................................ 51
3.2.2.2 Các bước thực hiện quá trình tích hợp dữ liệu ........................... 56
Chương IV TỔ CHỨC KHAI THÁC BÁO CÁO VỚI KHO DỮ LIỆU ............................ 65
4.1 Giải pháp xây dựng hệ thống khai thác báo cáo
65
4.2 Chiến lược xây dựng hệ thống báo cáo
66
4.3 Các bước xây dựng báo cáo
70
4.4 Mô hình khai thác báo cáo
70
4.5 Cài đặt hệ thống
71
KẾT LUẬN .................................................................................................................................. 73
TÀI LIỆU THAM KHẢO .......................................................................................................... 74
PHỤ LỤC ..........................................................................................................................................
BẢNG CÁC CHỮ VIẾT TẮT
Viết tắt
Tên đầy đủ
BCTK
Báo cáo thống kê
BO
Bussiness Object
CNTH
Công nghệ tin học
CSDL
Cơ sở dữ liệu (database)
DBA
Quản trị Database
DM
Data Mart
DWH
Data Warehouse
EDW
Enterprise Data Warehouse
ETL
Extraction-Transformation-Load
ETT
Extraction-Transformation-Transportation
NHNN
Ngân hàng Nhà nước Việt nam
NHTW
Ngân hàng Trung ương
ODS
Operational Data Store
OLAP
Online Analytical Processing
OLTP
Online Transaction Processing
TCTD
Tổ chức tín dụng
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU
Hình 1.1
Hình 1.2
Hình 1.3
Hình 1.4
Hình 1.5
Hình 1.6
Hình 1.7
Hình 1.8
Hình 2.1
Hình 2.2
Hình 3.1
Hình 3.2
Hình 3.3
Hình 3.4
Hình 3.5
Hình 3.6
Hình 3.7
Hình 3.8
Hình 3.9
Hình 4.1
Hình 4.2
Hình 4.3
Hình 4.4
Tính ổn định của dữ liệu trong Data Warehouse ................................. 6
Kiến trúc đơn giản của DW ................................................................ 9
Kiến trúc của DW với vùng gắn nhãn (Staging area) .......................... 9
Kiến trúc của DW với vùng gắn nhãn và các DM ............................. 10
Lược đồ hình sao của DW ................................................................ 12
Lược đồ bông tuyết của DW ............................................................. 13
Kho dữ liệu chuyên đề phụ thuộc ...................................................... 18
Kho dữ liệu chuyên đề độc lập .......................................................... 18
Sơ đồ phát triển hệ thống theo Warehouse Builder ........................... 21
Các đối tượng của Warehouse Builder .............................................. 24
Sơ đồ mô tả luồng thông tin báo cáo trong hệ thống NHNN ............. 29
Kiến trúc DWH BCTK ..................................................................... 44
Sơ đồ tổng quát quá trình tích hợp dữ liệu vào kho dữ liệu BCTK .... 52
Sơ đồ chi tiết quá trình tích hợp dữ liệu vào kho dữ liệu BCTK ........ 57
Các bước của quá trình tích hợp dữ liệu vào kho dữ liệu BCTK ....... 58
Quá trình tải dữ liệu từ nguồn vào Staging ........................................ 60
Quá trình tải dữ liệu từ Staging vào bảng T_ATOMIC_DATA ........ 61
Quá trình tải dữ liệu từ bảng T_ATOMIC_DATA sang các bảng fact .. 62
Quá trình cập nhật dữ liệu cho các bảng dimension .......................... 63
Môi trường tổ chức khai thác báo cáo của BO .................................. 65
Kiến trúc của BO với tầng ngữ nghĩa ............................................... 66
Các thành phần của BO Repository .................................................. 70
Mô hình khai thác báo cáo ................................................................ 71
1
MỞ ĐẦU
1. Tính cấp thiết của đề tài
Trong điều kiện của cơ chế thị trường, chính sách tiền tệ và điều hành vĩ
mô về tài chính và tiền tệ có một ý nghĩa quyết định đến sự phát triển kinh tế của
đất nước một cách ổn định và lành mạnh. Trong những năm gần đây, số ngân
hàng trong nước tăng lên rất nhanh. Thêm vào đó còn có sự tham gia của các
ngân hàng 100% vốn nước ngoài. Số vốn của các ngân hàng có quy mô ngày
một lớn, các dịch vụ mà ngân hàng cung cấp ngày càng phong phú. Khối lượng
thông tin mà Ngân hàng Nhà nước quản lý ngày một nhiều: nó tăng theo số
lượng các ngân hàng hoạt động cũng như quy mô vốn của các ngân hàng cùng
các dịch vụ mà chúng cung cấp. Trên thực tế, Ngân hàng Nhà nước đã tổ chức
được các hệ thống cơ sở dữ liệu rất lớn gồm các báo cáo thường xuyên từ các
ngân hàng và các tổ chức tài chính với số lượng trung bình từ 10-20 nghìn chỉ
tiêu/ngày, đặc biệt vào các ngày cuối tháng số lượng này lên tới hàng trăm nghìn
chỉ tiêu. Cục Công nghệ tin học của Ngân hàng Nhà nước là đơn vị có nhiệm vụ
thu thập và tổng hợp báo cáo. Cục được trang bị một hệ thống mạng máy tính rất
mạnh và đang sử dụng hệ quản trị cơ sở dữ liệu Oracle để quản lý và khai thác
các dữ liệu này. Tuy nhiên, việc khai thác báo cáo trên cơ sở dữ liệu tác nghiệp
này có một số nhược điểm như không hỗ trợ được các báo cáo đột xuất theo yêu
cầu; chưa tổng hợp được số liệu theo nhiều chiều, dưới nhiều dạng báo cáo khác
nhau như biểu đồ, đồ thị,…; chưa tổng hợp được dữ liệu từ nhiều hệ thống
nghiệp vụ khác nhau; việc khai thác báo cáo phải thực hiện trên máy tính có cài
đặt chương trình. Do vậy, một yêu cầu cấp bách đặt ra là: làm sao có được một
kho dữ liệu tập trung với số liệu đầy đủ, tổng hợp và chính xác của toàn ngành
ngân hàng một cách nhanh nhất để phục vụ việc điều hành vĩ mô của nhà nước
về tiền tệ một cách hiệu quả. Vì thế đề tài “Kho dữ liệu và ứng dụng xây dựng
hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia” được chọn
làm đề tài luận văn tốt nghiệp của tôi.
2. Mục tiêu của đề tài
Vận dụng những cơ sở lý thuyết về Data Warehouse để xây dựng hệ thống
dữ liệu Báo cáo thống kê tập trung tại Ngân hàng Nhà nước phục vụ cho việc trợ
giúp ra quyết định về chính sách tiền tệ quốc gia.
3. Đối tượng và phạm vi nghiên cứu
Đối tượng:
2
− Bộ mã chỉ tiêu báo cáo thống kê do Ngân hàng Nhà nước ban hành.
− Hệ thống tài khoản kế toán của Ngân hàng Nhà nước.
− Hệ thống thu thập thông tin Báo cáo thống kê, Báo cáo tài chính.
Phạm vi:
Đề tài này có quy mô rất lớn, do vậy luận văn chỉ tập trung vào nghiên cứu
việc thiết kế kho dữ liệu Báo cáo thống kê trên hai nguồn dữ liệu chính là cơ sở
liệu tác nghiệp Báo cáo thống kê và Báo cáo tài chính, đưa giải pháp tích hợp dữ
liệu đối với dữ liệu báo cáo theo mã chỉ tiêu đã qui định và tổ chức triển khai
việc khai thác báo cáo trên một số Vụ, Cục của Ngân hàng Trung ương. Trong
đó, tận dụng tối đa các công cụ sẵn có của Oracle cũng như những cơ sở công
nghệ thông tin hiện có của Ngân hàng Nhà nước để tổ chức vận hành, khai thác
kho dữ liệu này.
4. Nhiệm vụ nghiên cứu
− Nghiên cứu lý thuyết về Data Warehouse
− Thiết kế một kho dữ liệu Báo cáo thống kê theo kiến trúc của Data
Warehouse.
− Tổ chức, khai thác thông tin từ kho dữ liệu Báo cáo thống kê
5. Phương pháp nghiên cứu
Nghiên cứu thực tiễn: nghiên cứu các yêu cầu của người sử dụng tại các
Vụ, Cục Ngân hàng Trung ương về nhu cầu sử dụng thông tin báo cáo thống kê.
Phương pháp nghiên cứu lý thuyết: nghiên cứu các tài liệu về Data
Warehouse.
Phương pháp tiếp cận hệ thống: đối tượng nghiên cứu có quan hệ chặt chẽ
với các hệ thống thông tin khác đã có sẵn.
6. Kết cấu luận văn
Nội dung chính của luận văn gồm 4 chương:
Chương 1: Những khái niệm cơ bản về kho dữ liệu và kho dữ liệu chuyên
đề.
Chương 2: Các công cụ của Oracle trợ giúp việc phát triển Data
Warehouse.
3
Chương 3: Ứng dụng Data Warehouse xây dựng hệ thống Báo cáo thống kê
cho Ngân hàng Nhà nước.
Chương 4: Tổ chức khai thác báo cáo với kho dữ liệu.
Cuối cùng là kết luận và hướng phát triển tiếp theo của đề tài.
4
Chương I
KHÁI NIỆM VỀ KHO DỮ LIỆU
Ngày nay, thông tin trở thành một nguồn tài nguyên cực kỳ quan trọng cần
được quản lý và khai thác hiệu quả. Hơn bao giờ hết, tất cả các tổ chức kinh
doanh trên thế giới đều tập trung phát triển hệ thống thông tin như một nguồn
lực chủ chốt trong việc tạo ra ưu thế cạnh tranh cũng như tăng khả năng đáp ứng
đối với thị trường biến động không ngừng. Chính vì vậy, yêu cầu về một
phương tiện có khả năng lưu trữ dữ liệu khối lượng lớn, xử lý thông tin nhanh đã
dẫn đến sự ra đời của kho dữ liệu.
Những dự án đầu tiên về kho dữ liệu được xây dựng từ những năm 19841988. Cho đến những năm 1994, ở các nước phát triển, các dự án xây dựng kho
dữ liệu phát triển mạnh mẽ. Lúc đầu, các dự án này chỉ được phát triển ở những
tổ chức lớn. Cùng với nhu cầu phát triển của kho dữ liệu, nhiều công cụ trợ giúp
cho việc phát triển kho dữ liệu cũng ra đời và không ngừng hoàn thiện: Nhiều hệ
quản trị cơ sở dữ liệu (CSDL) được bổ sung thêm các công nghệ và công cụ cho
việc phát triển và khai thác kho dữ liệu. Trong số các hãng phát triển hệ quản trị
CSDL truyền thống như Oracle, DB2, Microsoft SQL server,…Oracle là hãng
hàng đầu thế giới trong lĩnh vực hệ quản trị CSDL có công nghệ xây dựng kho
dữ liệu tiên tiến (theo báo cáo của Gartner về thị phần của các hệ quản trị CSDL,
Oracle chiếm tới 47,1% thị phần năm 2006). Đặc biệt Oracle 11g có rất nhiều
chức năng tiên tiến cho việc xây dựng và khai thác các CSDL lớn như: khả năng
nén và phân vùng dữ liệu hiệu quả, tự động hóa nhiều hoạt động phân vùng và
mở rộng các phương pháp phân vùng khác nhau, hoàn thiện các bộ công cụ phân
vùng, nén và xử lý cả dữ liệu có cấu trúc và phi cấu trúc, … [16]
1.1 Khái niệm về kho dữ liệu
1.1.1 Định nghĩa
Kho dữ liệu (Data Warehouse – DWH) không phải là một khái niệm mới
và đã được định nghĩa theo rất nhiều cách khác nhau, vì vậy khó có thể định
nghĩa chuẩn xác được. Theo một nghĩa nào đó thì kho dữ liệu được xem như là
một CSDL lớn tập trung dữ liệu từ nhiều nguồn trong doanh nghiệp. Việc sử
dụng DWH sẽ tạo ra một sự đồng nhất về thông tin doanh nghiệp và từ kho dữ
liệu này doanh nghiệp có thể nhận được các chỉ tiêu phân tích hay dùng các
công cụ hỗ trợ để theo dõi các chỉ tiêu cần quan tâm. Vì thế, kho dữ liệu có thể
được xem là một môi trường có cấu trúc các hệ thống thông tin, cung cấp cho
5
người dùng những thông tin khó có thể truy nhập hay biểu diễn trong cơ sở dữ
liệu (CSDL) tác nghiệp truyền thống, nhằm mục đích hỗ trợ việc ra quyết định
mang tính lịch sử hay hiện tại [1]. Bill Inmon, người được xem là kiến trúc sư
đầu tiên xây dựng kho dữ liệu đã định nghĩa: “Kho dữ liệu là tập hợp dữ liệu
hướng chủ đề, được tích hợp, gắn với thời gian và ổn định được thiết kế cho
việc hỗ trợ quá trình ra quyết định của người quản lý”[10].
Về bản chất, kho dữ liệu hướng vào việc cung cấp một kiến trúc, công cụ
để phát triển dữ liệu của các hệ thống hỗ trợ quyết định. Dữ liệu phát sinh từ
trong các hoạt động hàng ngày và được thu thập, xử lý để phục vụ công việc
nghiệp vụ cụ thể của một tổ chức thường được gọi là dữ liệu tác nghiệp. Các
hoạt động thu thập xử lý dữ liệu tác nghiệp được gọi là xử lý giao dịch trực
tuyến (Online Transaction Processing - OLTP). Trái lại, kho dữ liệu phục vụ
cho việc phân tích các kết quả mang thông tin mức cao. Các hệ thống thông tin
thu thập xử lý dữ liệu loại này được gọi là xử lý phân tích trực tuyến (Online
Analytical Processing - OLAP). Kho dữ liệu thường rất lớn tới hàng trăm GB
hay thậm chí hàng Terabyte. Nó được xây dựng để tiện lợi cho việc truy cập
theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả
những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống
đã có sẵn từ trước. DWH là một kho dữ liệu quan hệ đa chiều được thiết kế cho
việc truy vấn dữ liệu và phân tích hơn là cho việc xử lý giao dịch. Một DWH
thường chứa dữ liệu lịch sử mong muốn từ dữ liệu giao dịch. Nó phân tích riêng
rẽ khối dữ liệu từ dữ liệu giao dịch và cho phép lấy dữ liệu từ nhiều nguồn.
Có ba kiểu kho dữ liệu thường gặp:
− Kho dữ liệu doanh nghiệp (Enterprise Data Warehouse - EDW): kho
dữ liệu loại này cung cấp một tập dữ liệu trung tâm được tổ chức hỗ
trợ cho việc ra quyết định của cả công ty (xí nghiệp).
− Kho dữ liệu tác nghiệp (Operational Data Store - ODS): kho dữ liệu
loại này dùng cho các công ty có phạm vi rộng, nhưng nó không giống
với kho dữ liệu doanh nghiệp. Ở đây dữ liệu được làm tươi ngay tức
thì và được sử dụng cho những hoạt động thường nhật. Theo định
nghĩa của Inmon, ODS khác EDW ở chỗ, nó bị giới hạn về tính lịch
sử của dữ liệu và được cập nhật dữ liệu thường xuyên hơn.
− Kho dữ liệu chuyên đề (Data Mart - DM): kho dữ liệu chuyên đề là
một DWH cỡ nhỏ và nó hỗ trợ cho những nghiệp vụ chuyên biệt hoặc
cho những chức năng nghiệp vụ cụ thể.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
Nhà xuất bản: ĐHCN
Ngày: 2009
Chủ đề: Chính sách tiền tệ quốc gia
Công nghệ thông tin
Kho dữ liệu
Phần mềm máy tính
Miêu tả: 75 tr. + CD-ROM
Luận văn ThS. Công nghệ phần mềm -- Trường Đại học Công nghệ. Đại học Quốc gia Hà Nội, 2009
Hệ thống hóa cơ sở lý luận về kho dữ liệu, kho dữ liệu chuyên đề, kiến trúc thành phần của Data Warehouse, các mô hình thiết kế cơ sở dữ liệu. Giới thiệu các công cụ Oracle trợ giúp phát triển Data Warehouse, cụ thể về kiến trúc, chức năng chính, thành phần, các đối tượng, các bước sử dụng và những ưu điểm nổi bật khi sử dụng Warehouse Builder. Trình bày một số ứng dụng của Data Warehouse xây dựng hệ thống báo cáo thống kê cho ngân hàng nhà nước để đưa ra các quyết định về chính sách tiền tệ quốc gia. Tiến hành xây dựng kho dữ liệu Data Warehouse, phục vụ cho việc khai thác báo cáo. Tiến hành tổ chức khai thác báo cáo với kho dữ liệu và ứng dụng xây dựng hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia như: giải pháp xây dựng hệ thống; chiến lược xây dựng hệ thống; các bước xây dựng, mô hình khai thác báo cáo và cài đặt hệ thống báo cáo
MỞ ĐẦU ........................................................................................................................................ 1
Chương I KHÁI NIỆM VỀ KHO DỮ LIỆU ............................................................................ 4
1.1 Khái niệm về kho dữ liệu
4
1.1.1 Định nghĩa ......................................................................................... 4
1.1.2 Các tính chất của Data Warehouse ..................................................... 6
1.1.2.1 Hướng chủ đề ............................................................................. 6
1.1.2.2 Tính ổn định ............................................................................... 6
1.1.2.3 Được tích hợp ............................................................................. 7
1.1.2.4 Gắn với thời gian ........................................................................ 7
1.1.3 Cơ sở dữ liệu tác nghiệp và kho dữ liệu ............................................. 7
1.2 Kiến trúc thành phần của Data Warehouse
8
1.2.1 Các loại kiến trúc của Data Warehouse .............................................. 8
1.2.2 Các thành phần cơ bản của kiến trúc Data Warehouse ..................... 10
1.2.3 Các lược đồ dữ liệu của Data Warehouse ........................................ 11
1.2.3.1 Lược đồ hình sao ...................................................................... 11
1.2.3.2 Lược đồ bông tuyết ................................................................... 13
1.3 Các mô hình thiết kế cơ sở dữ liệu
14
1.3.1 Mô hình dữ liệu lôgíc ...................................................................... 14
1.3.2 Mô hình dữ liệu vật lý ..................................................................... 15
1.4 Kho dữ liệu chuyên đề
16
1.4.1 Khái niệm kho dữ liệu chuyên đề..................................................... 17
1.4.2 Sự khác nhau giữa Data Warehouse và Data Mart ........................... 17
1.4.3 Các dạng cơ bản của Data Mart ....................................................... 17
Chương II CÔNG CỤ ORACLE TRỢ GIÚP PHÁT TRIỂN DATA WAREHOUSE VÀ
DATAMART ............................................................................................................................... 20
2.1 Kiến trúc của Warehouse Builder
20
2.1.1 Môi trường thiết kế .......................................................................... 20
2.1.2 Môi trường vận hành ....................................................................... 22
2.2 Các chức năng chính của Warehouse Builder
22
2.3 Các thành phần của Warehouse Builder
22
2.3.1 Ứng dụng phía khách của Warehouse Builder Client Application ... 22
2.3.2 Dịch vụ nền vận hành Warehouse Builder ....................................... 23
2.3.3 Kho lưu trữ thiết kế của Warehouse Builder .................................... 23
2.3.4 Kho lưu trữ vận hành của Warehouse Builder ................................. 23
2.3.5 Trình duyệt báo cáo kiểm toán ......................................................... 23
2.3.6 Trình duyệt báo cáo siêu dữ liệu ...................................................... 24
2.4 Các đối tượng của Warehouse Builder
24
2.5 Các bước sử dụng Warehouse Builder
25
2.5.1 Định nghĩa các đối tượng nguồn và đích .......................................... 25
2.5.2 Định nghĩa các đối tượng để trích lọc, chuyển đổi và tải dữ liệu ...... 25
2.5.3 Thẩm định và sinh mã...................................................................... 25
2.5.4 Triển khai và thực thi ....................................................................... 25
2.6 Những ưu điểm nổi bật khi sử dụng Warehouse Builder
25
2.6.1 Nắm bắt các thay đổi của dữ liệu ..................................................... 26
2.6.2 Các bảng ngoại, hàm bảng, cơ chế đường ống và lệnh MERGE ...... 26
2.6.3 Khung nhìn làm tư liệu làm tươi nhanh dữ liệu ................................ 27
Chương III ỨNG DỤNG DATA WAREHOUSE XÂY DỰNG HỆ THỐNG BÁO CÁO
THỐNG KÊ CHO NGÂN HÀNG NHÀ NƯỚC .................................................................... 28
3.1 Mô hình nghiệp vụ của hệ thống Báo cáo thống kê NHNN
28
3.1.1 Sơ đồ luồng thông tin của hệ thống Báo cáo thống kê ...................... 28
3.1.2 Hệ thống các chỉ tiêu của Báo cáo thống kê ..................................... 29
3.1.3 Hệ thống các tài khoản kế toán ........................................................ 31
3.1.4 Nội dung của báo cáo thống kê ........................................................ 32
3.1.5 Nội dung của báo cáo Tài chính ....................................................... 36
3.1.6 Hoạt động nghiệp vụ của một số đơn vị của NHNN ........................ 39
3.1.7 Yêu cầu nghiệp vụ của hệ thống khai thác báo cáo .......................... 40
3.1.7.1 Yêu cầu cụ thể của hệ thống báo cáo ........................................ 41
3.1.7.2 Các loại báo cáo cần phát triển ................................................. 41
3.2 Xây dựng kho dữ liệu Data Warehouse phục vụ cho việc khai thác báo
cáo
43
3.2.1 Xây dựng cơ sở dữ liệu theo chuẩn Data Warehouse ....................... 43
3.2.1.1 Kiến trúc của Data Warehouse Báo cáo thống kê ...................... 43
3.2.1.2 Kết cấu của Data Warehouse Báo cáo thống kê ........................ 45
3.2.1.3 Các bước cài đặt vật lý data warehouse ..................................... 50
3.2.2 Xây dựng qui trình tích hợp dữ liệu cho Data Warehouse ................ 51
3.2.2.1 Xây dựng giải pháp tích hợp dữ liệu vào kho dữ liệu Báo cáo
thống kê ................................................................................................ 51
3.2.2.2 Các bước thực hiện quá trình tích hợp dữ liệu ........................... 56
Chương IV TỔ CHỨC KHAI THÁC BÁO CÁO VỚI KHO DỮ LIỆU ............................ 65
4.1 Giải pháp xây dựng hệ thống khai thác báo cáo
65
4.2 Chiến lược xây dựng hệ thống báo cáo
66
4.3 Các bước xây dựng báo cáo
70
4.4 Mô hình khai thác báo cáo
70
4.5 Cài đặt hệ thống
71
KẾT LUẬN .................................................................................................................................. 73
TÀI LIỆU THAM KHẢO .......................................................................................................... 74
PHỤ LỤC ..........................................................................................................................................
BẢNG CÁC CHỮ VIẾT TẮT
Viết tắt
Tên đầy đủ
BCTK
Báo cáo thống kê
BO
Bussiness Object
CNTH
Công nghệ tin học
CSDL
Cơ sở dữ liệu (database)
DBA
Quản trị Database
DM
Data Mart
DWH
Data Warehouse
EDW
Enterprise Data Warehouse
ETL
Extraction-Transformation-Load
ETT
Extraction-Transformation-Transportation
NHNN
Ngân hàng Nhà nước Việt nam
NHTW
Ngân hàng Trung ương
ODS
Operational Data Store
OLAP
Online Analytical Processing
OLTP
Online Transaction Processing
TCTD
Tổ chức tín dụng
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU
Hình 1.1
Hình 1.2
Hình 1.3
Hình 1.4
Hình 1.5
Hình 1.6
Hình 1.7
Hình 1.8
Hình 2.1
Hình 2.2
Hình 3.1
Hình 3.2
Hình 3.3
Hình 3.4
Hình 3.5
Hình 3.6
Hình 3.7
Hình 3.8
Hình 3.9
Hình 4.1
Hình 4.2
Hình 4.3
Hình 4.4
Tính ổn định của dữ liệu trong Data Warehouse ................................. 6
Kiến trúc đơn giản của DW ................................................................ 9
Kiến trúc của DW với vùng gắn nhãn (Staging area) .......................... 9
Kiến trúc của DW với vùng gắn nhãn và các DM ............................. 10
Lược đồ hình sao của DW ................................................................ 12
Lược đồ bông tuyết của DW ............................................................. 13
Kho dữ liệu chuyên đề phụ thuộc ...................................................... 18
Kho dữ liệu chuyên đề độc lập .......................................................... 18
Sơ đồ phát triển hệ thống theo Warehouse Builder ........................... 21
Các đối tượng của Warehouse Builder .............................................. 24
Sơ đồ mô tả luồng thông tin báo cáo trong hệ thống NHNN ............. 29
Kiến trúc DWH BCTK ..................................................................... 44
Sơ đồ tổng quát quá trình tích hợp dữ liệu vào kho dữ liệu BCTK .... 52
Sơ đồ chi tiết quá trình tích hợp dữ liệu vào kho dữ liệu BCTK ........ 57
Các bước của quá trình tích hợp dữ liệu vào kho dữ liệu BCTK ....... 58
Quá trình tải dữ liệu từ nguồn vào Staging ........................................ 60
Quá trình tải dữ liệu từ Staging vào bảng T_ATOMIC_DATA ........ 61
Quá trình tải dữ liệu từ bảng T_ATOMIC_DATA sang các bảng fact .. 62
Quá trình cập nhật dữ liệu cho các bảng dimension .......................... 63
Môi trường tổ chức khai thác báo cáo của BO .................................. 65
Kiến trúc của BO với tầng ngữ nghĩa ............................................... 66
Các thành phần của BO Repository .................................................. 70
Mô hình khai thác báo cáo ................................................................ 71
1
MỞ ĐẦU
1. Tính cấp thiết của đề tài
Trong điều kiện của cơ chế thị trường, chính sách tiền tệ và điều hành vĩ
mô về tài chính và tiền tệ có một ý nghĩa quyết định đến sự phát triển kinh tế của
đất nước một cách ổn định và lành mạnh. Trong những năm gần đây, số ngân
hàng trong nước tăng lên rất nhanh. Thêm vào đó còn có sự tham gia của các
ngân hàng 100% vốn nước ngoài. Số vốn của các ngân hàng có quy mô ngày
một lớn, các dịch vụ mà ngân hàng cung cấp ngày càng phong phú. Khối lượng
thông tin mà Ngân hàng Nhà nước quản lý ngày một nhiều: nó tăng theo số
lượng các ngân hàng hoạt động cũng như quy mô vốn của các ngân hàng cùng
các dịch vụ mà chúng cung cấp. Trên thực tế, Ngân hàng Nhà nước đã tổ chức
được các hệ thống cơ sở dữ liệu rất lớn gồm các báo cáo thường xuyên từ các
ngân hàng và các tổ chức tài chính với số lượng trung bình từ 10-20 nghìn chỉ
tiêu/ngày, đặc biệt vào các ngày cuối tháng số lượng này lên tới hàng trăm nghìn
chỉ tiêu. Cục Công nghệ tin học của Ngân hàng Nhà nước là đơn vị có nhiệm vụ
thu thập và tổng hợp báo cáo. Cục được trang bị một hệ thống mạng máy tính rất
mạnh và đang sử dụng hệ quản trị cơ sở dữ liệu Oracle để quản lý và khai thác
các dữ liệu này. Tuy nhiên, việc khai thác báo cáo trên cơ sở dữ liệu tác nghiệp
này có một số nhược điểm như không hỗ trợ được các báo cáo đột xuất theo yêu
cầu; chưa tổng hợp được số liệu theo nhiều chiều, dưới nhiều dạng báo cáo khác
nhau như biểu đồ, đồ thị,…; chưa tổng hợp được dữ liệu từ nhiều hệ thống
nghiệp vụ khác nhau; việc khai thác báo cáo phải thực hiện trên máy tính có cài
đặt chương trình. Do vậy, một yêu cầu cấp bách đặt ra là: làm sao có được một
kho dữ liệu tập trung với số liệu đầy đủ, tổng hợp và chính xác của toàn ngành
ngân hàng một cách nhanh nhất để phục vụ việc điều hành vĩ mô của nhà nước
về tiền tệ một cách hiệu quả. Vì thế đề tài “Kho dữ liệu và ứng dụng xây dựng
hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia” được chọn
làm đề tài luận văn tốt nghiệp của tôi.
2. Mục tiêu của đề tài
Vận dụng những cơ sở lý thuyết về Data Warehouse để xây dựng hệ thống
dữ liệu Báo cáo thống kê tập trung tại Ngân hàng Nhà nước phục vụ cho việc trợ
giúp ra quyết định về chính sách tiền tệ quốc gia.
3. Đối tượng và phạm vi nghiên cứu
Đối tượng:
2
− Bộ mã chỉ tiêu báo cáo thống kê do Ngân hàng Nhà nước ban hành.
− Hệ thống tài khoản kế toán của Ngân hàng Nhà nước.
− Hệ thống thu thập thông tin Báo cáo thống kê, Báo cáo tài chính.
Phạm vi:
Đề tài này có quy mô rất lớn, do vậy luận văn chỉ tập trung vào nghiên cứu
việc thiết kế kho dữ liệu Báo cáo thống kê trên hai nguồn dữ liệu chính là cơ sở
liệu tác nghiệp Báo cáo thống kê và Báo cáo tài chính, đưa giải pháp tích hợp dữ
liệu đối với dữ liệu báo cáo theo mã chỉ tiêu đã qui định và tổ chức triển khai
việc khai thác báo cáo trên một số Vụ, Cục của Ngân hàng Trung ương. Trong
đó, tận dụng tối đa các công cụ sẵn có của Oracle cũng như những cơ sở công
nghệ thông tin hiện có của Ngân hàng Nhà nước để tổ chức vận hành, khai thác
kho dữ liệu này.
4. Nhiệm vụ nghiên cứu
− Nghiên cứu lý thuyết về Data Warehouse
− Thiết kế một kho dữ liệu Báo cáo thống kê theo kiến trúc của Data
Warehouse.
− Tổ chức, khai thác thông tin từ kho dữ liệu Báo cáo thống kê
5. Phương pháp nghiên cứu
Nghiên cứu thực tiễn: nghiên cứu các yêu cầu của người sử dụng tại các
Vụ, Cục Ngân hàng Trung ương về nhu cầu sử dụng thông tin báo cáo thống kê.
Phương pháp nghiên cứu lý thuyết: nghiên cứu các tài liệu về Data
Warehouse.
Phương pháp tiếp cận hệ thống: đối tượng nghiên cứu có quan hệ chặt chẽ
với các hệ thống thông tin khác đã có sẵn.
6. Kết cấu luận văn
Nội dung chính của luận văn gồm 4 chương:
Chương 1: Những khái niệm cơ bản về kho dữ liệu và kho dữ liệu chuyên
đề.
Chương 2: Các công cụ của Oracle trợ giúp việc phát triển Data
Warehouse.
3
Chương 3: Ứng dụng Data Warehouse xây dựng hệ thống Báo cáo thống kê
cho Ngân hàng Nhà nước.
Chương 4: Tổ chức khai thác báo cáo với kho dữ liệu.
Cuối cùng là kết luận và hướng phát triển tiếp theo của đề tài.
4
Chương I
KHÁI NIỆM VỀ KHO DỮ LIỆU
Ngày nay, thông tin trở thành một nguồn tài nguyên cực kỳ quan trọng cần
được quản lý và khai thác hiệu quả. Hơn bao giờ hết, tất cả các tổ chức kinh
doanh trên thế giới đều tập trung phát triển hệ thống thông tin như một nguồn
lực chủ chốt trong việc tạo ra ưu thế cạnh tranh cũng như tăng khả năng đáp ứng
đối với thị trường biến động không ngừng. Chính vì vậy, yêu cầu về một
phương tiện có khả năng lưu trữ dữ liệu khối lượng lớn, xử lý thông tin nhanh đã
dẫn đến sự ra đời của kho dữ liệu.
Những dự án đầu tiên về kho dữ liệu được xây dựng từ những năm 19841988. Cho đến những năm 1994, ở các nước phát triển, các dự án xây dựng kho
dữ liệu phát triển mạnh mẽ. Lúc đầu, các dự án này chỉ được phát triển ở những
tổ chức lớn. Cùng với nhu cầu phát triển của kho dữ liệu, nhiều công cụ trợ giúp
cho việc phát triển kho dữ liệu cũng ra đời và không ngừng hoàn thiện: Nhiều hệ
quản trị cơ sở dữ liệu (CSDL) được bổ sung thêm các công nghệ và công cụ cho
việc phát triển và khai thác kho dữ liệu. Trong số các hãng phát triển hệ quản trị
CSDL truyền thống như Oracle, DB2, Microsoft SQL server,…Oracle là hãng
hàng đầu thế giới trong lĩnh vực hệ quản trị CSDL có công nghệ xây dựng kho
dữ liệu tiên tiến (theo báo cáo của Gartner về thị phần của các hệ quản trị CSDL,
Oracle chiếm tới 47,1% thị phần năm 2006). Đặc biệt Oracle 11g có rất nhiều
chức năng tiên tiến cho việc xây dựng và khai thác các CSDL lớn như: khả năng
nén và phân vùng dữ liệu hiệu quả, tự động hóa nhiều hoạt động phân vùng và
mở rộng các phương pháp phân vùng khác nhau, hoàn thiện các bộ công cụ phân
vùng, nén và xử lý cả dữ liệu có cấu trúc và phi cấu trúc, … [16]
1.1 Khái niệm về kho dữ liệu
1.1.1 Định nghĩa
Kho dữ liệu (Data Warehouse – DWH) không phải là một khái niệm mới
và đã được định nghĩa theo rất nhiều cách khác nhau, vì vậy khó có thể định
nghĩa chuẩn xác được. Theo một nghĩa nào đó thì kho dữ liệu được xem như là
một CSDL lớn tập trung dữ liệu từ nhiều nguồn trong doanh nghiệp. Việc sử
dụng DWH sẽ tạo ra một sự đồng nhất về thông tin doanh nghiệp và từ kho dữ
liệu này doanh nghiệp có thể nhận được các chỉ tiêu phân tích hay dùng các
công cụ hỗ trợ để theo dõi các chỉ tiêu cần quan tâm. Vì thế, kho dữ liệu có thể
được xem là một môi trường có cấu trúc các hệ thống thông tin, cung cấp cho
5
người dùng những thông tin khó có thể truy nhập hay biểu diễn trong cơ sở dữ
liệu (CSDL) tác nghiệp truyền thống, nhằm mục đích hỗ trợ việc ra quyết định
mang tính lịch sử hay hiện tại [1]. Bill Inmon, người được xem là kiến trúc sư
đầu tiên xây dựng kho dữ liệu đã định nghĩa: “Kho dữ liệu là tập hợp dữ liệu
hướng chủ đề, được tích hợp, gắn với thời gian và ổn định được thiết kế cho
việc hỗ trợ quá trình ra quyết định của người quản lý”[10].
Về bản chất, kho dữ liệu hướng vào việc cung cấp một kiến trúc, công cụ
để phát triển dữ liệu của các hệ thống hỗ trợ quyết định. Dữ liệu phát sinh từ
trong các hoạt động hàng ngày và được thu thập, xử lý để phục vụ công việc
nghiệp vụ cụ thể của một tổ chức thường được gọi là dữ liệu tác nghiệp. Các
hoạt động thu thập xử lý dữ liệu tác nghiệp được gọi là xử lý giao dịch trực
tuyến (Online Transaction Processing - OLTP). Trái lại, kho dữ liệu phục vụ
cho việc phân tích các kết quả mang thông tin mức cao. Các hệ thống thông tin
thu thập xử lý dữ liệu loại này được gọi là xử lý phân tích trực tuyến (Online
Analytical Processing - OLAP). Kho dữ liệu thường rất lớn tới hàng trăm GB
hay thậm chí hàng Terabyte. Nó được xây dựng để tiện lợi cho việc truy cập
theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả
những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống
đã có sẵn từ trước. DWH là một kho dữ liệu quan hệ đa chiều được thiết kế cho
việc truy vấn dữ liệu và phân tích hơn là cho việc xử lý giao dịch. Một DWH
thường chứa dữ liệu lịch sử mong muốn từ dữ liệu giao dịch. Nó phân tích riêng
rẽ khối dữ liệu từ dữ liệu giao dịch và cho phép lấy dữ liệu từ nhiều nguồn.
Có ba kiểu kho dữ liệu thường gặp:
− Kho dữ liệu doanh nghiệp (Enterprise Data Warehouse - EDW): kho
dữ liệu loại này cung cấp một tập dữ liệu trung tâm được tổ chức hỗ
trợ cho việc ra quyết định của cả công ty (xí nghiệp).
− Kho dữ liệu tác nghiệp (Operational Data Store - ODS): kho dữ liệu
loại này dùng cho các công ty có phạm vi rộng, nhưng nó không giống
với kho dữ liệu doanh nghiệp. Ở đây dữ liệu được làm tươi ngay tức
thì và được sử dụng cho những hoạt động thường nhật. Theo định
nghĩa của Inmon, ODS khác EDW ở chỗ, nó bị giới hạn về tính lịch
sử của dữ liệu và được cập nhật dữ liệu thường xuyên hơn.
− Kho dữ liệu chuyên đề (Data Mart - DM): kho dữ liệu chuyên đề là
một DWH cỡ nhỏ và nó hỗ trợ cho những nghiệp vụ chuyên biệt hoặc
cho những chức năng nghiệp vụ cụ thể.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links
Last edited by a moderator: