Luận văn: Khai phá dữ liệu phát hiện luật kết hợp và ứng dụng đối với kho dữ liệu của ngân hàng : Luận văn ThS. Công nghệ thông tin: 60 48 10
Nhà xuất bản: ĐHCN
Ngày: 2008
Chủ đề: Dữ liệu trực tuyến
Khai phá dữ liệu
Kho dữ liệu
Ngân hàng
Miêu tả: 58 tr. + CD-ROM
Tìm hiểu những nét khái quát nhất về hệ thống xử lý giao dịch trực tuyến (OLTP), Kho dữ liệu (Data warehouse) và hệ thống phân tích dữ liệu trực tuyến (OLAP). Trình bày các vấn đề chung, cơ bản nhất về Luật kết hợp, giải thuật kinh điển Apriori, khai phá luật kết hợp với OLAP và sinh luật kết hợp từ tập mục phổ biến. Nghiên cứu xây dựng khung ứng dụng, bao gồm các công việc: tập hợp, làm sạch, chuẩn hoá dữ liệu, xây dựng Data-cube, khai phá luật kết hợp từ Data-cube; từ đó triển khai ứng dụng minh hoạ đối với Kho dữ liệu Ngân hàng
Luận văn ThS. Công nghệ phần mềm -- Trường Đại học Công nghệ. Đại học Quốc gia Hà Nội, 2008
Chương 1: KHO DỮ LIỆU VÀ PHÂN TÍCH DỮ LIỆU TRỰC TUYẾN..............11
1.1. Hệ thống xử lý giao dịch trực tuyến (OLTP).................................................11
1.2. Kho dữ liệu (Data warehouse) .......................................................................11
1.3. Hệ thống phõn tớch dữ liệu trực tuyến (OLAP)............................................14
1.3.1. Giới thiệu ................................................................................................14
1.3.2. Mụ hỡnh tổ chức dữ liệu (Data model) ..................................................17
1.3.2.1. Lược đồ hỡnh sao (Star schema) .....................................................181.3.2.2. Lược đồ bụng tuyết (Snowflake schema) ........................................19
Chương 2: KHAI PHÁ DỮ LIỆU PHÁT HIỆN LUẬT KẾT HỢPError! Bookmark not defined
2.1. Giới thiệu .......................................................Error! Bookmark not defined.
2.1.1. Định nghĩa luật kết hợp...........................Error! Bookmark not defined.
2.1.1.1. Vớ dụ về luật kết hợp.......................Error! Bookmark not defined.
2.1.1.2. Cỏc định nghĩa cơ bản .....................Error! Bookmark not defined.
2.1.2. Luật kết hợp nhị phõn .............................Error! Bookmark not defined.
2.1.3. Luật kết hợp định lượng..........................Error! Bookmark not defined.
2.1.4. Luật kết hợp đơn chiều ...........................Error! Bookmark not defined.
2.1.5. Luật kết hợp đa chiều..............................Error! Bookmark not defined.
2.1.6. Luật kết hợp đa mức ...............................Error! Bookmark not defined.
2.1.6.1. Giới thiệu .........................................Error! Bookmark not defined.
2.1.6.2. Khai phỏ luật kết hợp đa mức..........Error! Bookmark not defined.
2.2. Thuật toỏn Apriori .........................................Error! Bookmark not defined.
2.3. Đỏnh giỏ.........................................................Error! Bookmark not defined.
2.4. Khai phỏ luật kết hợp với OLAP ...................Error! Bookmark not defined.
2.4.1. Xõy dựng Data-cube ...............................Error! Bookmark not defined.
2.4.2. Khai phỏ cỏc tập mục phổ biến dựa trờn Data-cubeError! Bookmark not defined.
2.4.3. Đỏnh giỏ..................................................Error! Bookmark not defined.
2.5. Sinh luật kết hợp từ tập mục phổ biến ...........Error! Bookmark not defined.
2.5.1. Thuật toỏn đơn giản sinh luật kết hợp từ tập mục phổ biếnError! Bookmark not def
2.5.2. Khai phỏ luật kết hợp dựa trờn Data-cubeError! Bookmark not defined.
2.5.3. Đỏnh giỏ..................................................Error! Bookmark not defined.
Chương 3: XÂY DỰNG ỨNG DỤNG MINH HOẠError! Bookmark not defined.
3.1. Giới thiệu .......................................................Error! Bookmark not defined.
3.2. Xõy dựng khung ứng dụng (Framework) ......Error! Bookmark not defined.
3.2.1. Tập hợp, làm sạch và chuẩn hoỏ dữ liệu Error! Bookmark not defined.
3.2.2. Xõy dựng Data-cube ...............................Error! Bookmark not defined.
3.2.3. Khai phỏ luật kết hợp từ Data-cube........Error! Bookmark not defined.
3.3. Đỏnh giỏ.........................................................Error! Bookmark not defined.
KẾT LUẬN...............................................................Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO ........................................................................................19
Danh sỏch tài liệu tham khảo tiếng Việt...........................................................19
Danh sỏch tài liệu tham khảo tiếng Anh...........................................................20
Danh sỏch Websites tham khảo ........................................................................21DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN
Bảng 2.1: Ví dụ một CSDL giao dịch.......................Error! Bookmark not defined.
Bảng 2.2: Ví dụ về các tập mục phổ biến. ................Error! Bookmark not defined.
Bảng 2.3: Các luật kết hợp được sinh từ tập mục phổ biến ACW.Error! Bookmark not defined
Bảng 2.4: Ví dụ CSDL giao dịch bán hàng. .............Error! Bookmark not defined.
Bảng 2.5: Thuật toán Apriori. ...................................Error! Bookmark not defined.
Bảng 2.6: Cơ sở dữ liệu minh hoạ thuật toán Apriori.Error! Bookmark not defined.
Bảng 2.7: Minh hoạ CSDL thống kê tài khoản giao dịch.Error! Bookmark not defined.
Bảng 2.8: Tiêu chí rời rạc hoá CSDL thống kê TKGD.Error! Bookmark not defined.
Bảng 2.9: CSDL thống kê TKGD sau khi rời rạc hoá.Error! Bookmark not defined.
Bảng 2.10: Pivot-table ứng với CSDL thống kê TKGD.Error! Bookmark not defined.
Bảng 2.11: Thuật toán tìm tập mục phổ biến từ Data-cube của Hua Zhu.Error! Bookmark not d
Bảng 2.12: Thuật toán DataCubeSimpleGenFrequentItemsets.Error! Bookmark not defined.
Bảng 2.13: Thuật toán sinh luật kết hợp từ tập mục phổ biến.Error! Bookmark not defined.
Bảng 2.14: Thủ tục GenRules...................................Error! Bookmark not defined.
Bảng 2.15: Thuật toán DataCubeSimpleMining. .....Error! Bookmark not defined.
Bảng 3.1: Đoạn mã thực hiện chuẩn hoá dữ liệu......Error! Bookmark not defined.
Bảng 3.2: Đoạn mã thực hiện xây dựng Data-cube..Error! Bookmark not defined.
Bảng 3.3: Đoạn mã thực hiện khai phá luật kết hợp từ Data-cube.Error! Bookmark not definedDANH SÁCH CÁC HÌNH TRONG LUẬN VĂN
Hình 1.1: Kiến trúc tiêu biểu của Data warehouse. ..................................................12
Hình 1.2: Minh hoạ Data-cube..................................................................................15
Hình 1.3: Minh hoạ dữ liệu được tính toán và lưu trữ bởi OLAP-engine................16
Hình 1.4: Các thao tác cơ bản trong OLAP. .............................................................17
Hình 1.5: Lược đồ hình sao (Star schema). ..............................................................18
Hình 1.6: Minh hoạ phân cấp thuộc tính trong lược đồ hình sao. ............................19
Hình 1.7: Lược đồ bông tuyết (Snowflake schema). Error! Bookmark not defined.
Hình 2.1: Sự phân cấp mức độ trừu tượng của dữ liệu.Error! Bookmark not defined.
Hình 2.2: Khai phá luật kết hợp đa mức với minsup giống nhau tại các mức.Error! Bookmark n
Hình 2.3: Khai phá luật kết hợp đa mức với minsup giảm dần.Error! Bookmark not defined.
Hình 2.4: Khai phá luật kết hợp đa mức với minsup giảm dần kết hợp lọc.Error! Bookmark not
Hình 2.5: Khai phá luật kết hợp đa mức với minsup giảm dần kết hợp lọc k-mục.Error! Bookma
Hình 2.6: Minh hoạ thuật toán Apriori. ....................Error! Bookmark not defined.
Hình 3.1: Minh hoạ dữ liệu thô.................................Error! Bookmark not defined.
Hình 3.2: Minh hoạ các tiêu chí lọc và rời rạc hoá dữ liệu.Error! Bookmark not defined.
Hình 3.3: Dữ liệu sau khi chuẩn hoá (Xem dạng Grid).Error! Bookmark not defined.
Hình 3.4: Dữ liệu Data-cube (Dạng Grid và Pivot)..Error! Bookmark not defined.
Hình 3.5: Luật kết hợp khai phá từ Data-cube..........Error! Bookmark not defined.KÝ HIỆU VÀ TỪ VIẾT TẮT
Stt Ký hiệu viết
tắt
Nghĩa tiếng Việt Nghĩa tiếng Anh
1 CSDL Cơ sở dữ liệu Database
2 HQTCSDL Hệ quản trị cơ sở dữ liệu Database Management System
3 KPDL Khai phá dữ liệu Data Mining
4 KDD Khai phá tri thức Knowledge Discovery in
Database
Hệ thống xử lý giao dịch trực tuyến (OLTP)
Hầu hết các doanh nghiệp trên thế giới đã và đang áp dụng công nghệ thông tin
trong việc lưu trữ và quản lý dữ liệu. Hệ thống OLTP (On-Line Transaction
Processing: Hệ thống xử lý giao dịch trực tuyến) ra đời với khả năng lưu trữ dữ
liệu lâu dài, hướng giao dịch (Transaction-oriented) nên được áp dụng rất phổ biến
vì dữ liệu mà các doanh nghiệp thực hiện tác nghiệp chủ yếu đều dưới dạng các
giao dịch. Cũng vì vậy mà hầu hết các hệ quản trị CSDL phổ biến hiện nay như:
Oracle, SQL Server, DB2, MySQL, ... đều hỗ trợ OLTP. CSDL trong các hệ OLTP
thường được thiết kế thoả mãn 3NF hay cao hơn. Đặc điểm của hệ thống OLTP là
lưu toàn bộ các dữ liệu giao dịch chi tiết hàng ngày, điều đó cũng có nghĩa là mức
độ tổng quát, trừu tượng của dữ liệu này rất thấp. Với công cụ SQL, OLTP có thể
nhanh chóng trả lời được những câu hỏi dạng: Tổng doanh thu từ mặt hàng A trong
6 tháng đầu năm là bao nhiêu, hay Mặt hàng nào bán chạy nhất trong 6 tháng đầu
năm, ....
Tuy nhiên đứng trên góc độ của nhà quản lý họ cần hệ thống trả lời những câu
hỏi dạng: Đưa ra danh sách 10 mặt hàng có doanh thu tốt nhất của từng quý từ
trước cho tới nay, với mỗi mặt hàng, chỉ ra tháng nào trong quý mặt hàng đó có
doanh thu lớn nhất (1). Hay nếu doanh thu của mặt hàng A tăng thì có thể dự đoán
doanh thu của mặt hàng B tăng hay giảm với xác suất là bao nhiêu (2). Với câu hỏi
dạng (1) hệ thống OLTP gặp rất nhiều khó khăn khi trả lời, để trả lời chúng một
cách nhanh chóng chúng ta cần sử dụng những công cụ chuyên dụng và cao
cấp hơn như OLAP (xem 0). Còn với những câu hỏi dạng (2) thì việc hệ thống
OLTP trả lời là một điều viễn tưởng, muốn trả lời câu hỏi dạng này chúng ta cần
phải sử dụng công cụ đặc biệt là Data mining (xem Chương 2).
Kho dữ liệu (Data warehouse)
Data warehouse (Kho dữ liệu) được đề xuất bởi W.H.Inmon vào đầu những
năm 1990, là nơi lưu trữ thông tin tích hợp từ nhiều nguồn (Multi-sources), hướng
chủ đề (Subject-oriented), mang tính lịch sử (Time-variant), ổn định (Nonvolatile),
hỗ trợ truy vấn (Query), phân tích (Analyse) thông tin và trợ giúp ra quyết định
(Decision-making support) [105].

Link Download bản DOC
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:

 
Last edited by a moderator:

Các chủ đề có liên quan khác

Top