Đề tài Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Lương Thái Đức Áp dụng Data Warehouse trong phân tích thông tin về các dịch vụ giá trị gia tăng trên điện thoại KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hướng dẫn: ThS. Lê Hồng Hải HÀ NỘI - 2010 1 LỜI CẢM ƠN Trước tiên, em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo ThS. Lê Hồng Hải, người đã tận tình hướng dẫn em trong suốt quá trình nghiên cứu và hoàn thành khóa luận tốt nghiệp. Em xin bày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy em trong bốn năm qua, những kiến thức mà em nhận được trên giảng đường đại học sẽ là hành trang giúp em vững bước trong tương lai. Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, những người luôn kịp thời động viên và giúp đỡ em vượt qua những khó khăn trong cuộc sống. Hà nội, ngày 21/05/2010 Nguyễn Lương Thái Đức 2 DANH SÁCH HÌNH VẼ ................................................................................................................ 5 THUẬT NGỮ VÀ VIẾT TẮT ....................................................................................................... 7 TÓM TẮT NỘI DUNG .................................................................................................................. 8 MỞ ĐẦU ........................................................................................................................................ 9 Chương 1: Tổng quan ..................................................................................................................... 8 1.1 Tổng quan về hệ thống và lý do lựa chọn đề tài. ................................................................ 11 1.2 Dữ liệu của hệ thống . ......................................................................................................... 12 1.3 Mục tiêu và phạm vi của đề tài. .......................................................................................... 12 1.3.1 Mục tiêu. ...................................................................................................................... 12 1.3.2 Phạm vi của đề tài. ....................................................................................................... 13 1.4. Công cụ thực hiện ......................................................................................................... 13 1.4.2 Hệ quản trị cơ sở dữ liệu cho kho dữ liệu ................................................................... 13 1.4.2 Công cụ xây dựng kho dữ liệu. .................................................................................... 13 1.4.3 Công cụ xây dựng báo cáo........................................................................................... 13 CHƯƠNG 2: TỔNG QUAN VỀ DATA WAREHOUSE............................................................ 14 2.1 Định nghĩa kho dữ liệu. ...................................................................................................... 14 2.2 Các đặc trưng của kho dữ liệu ............................................................................................ 14 2.2.1 Hướng chủ đề .............................................................................................................. 14 2.2.2 Tính tích hợp................................................................................................................ 14 2.2.3 Tính bền vững: ............................................................................................................. 14 2.2.4 Gắn với thời gian . ....................................................................................................... 15 2.2.5 Dữ liệu tổng hợp : ........................................................................................................ 15 2.3 Kiến trúc của kho dữ liệu.................................................................................................... 15 2.3.1 Nguồn dữ liệu . ........................................................................................................... 15 2.3.2 Khu vực xử lý . ............................................................................................................ 16 2.3.2.1 Nhiệm vụ :............................................................................................................. 16 2.3.2.2 Các bước :. ............................................................................................................ 16 2.3.2.3 Các kiểu kiến trúc ETL......................................................................................... 17 2.3.3 Kho dữ liệu . ................................................................................................................ 19 2.4 Mô hình logic của kho dữ liệu ........................................................................................... 20 2.4.1 Lược đồ hình sao.......................................................................................................... 20 2.4.2 Lược đồ hình bông tuyết. ............................................................................................. 20 2.4.3 Mô hình dữ liệu nhiều chiều ........................................................................................ 21 2.5 Kho dữ liệu ngày nay.......................................................................................................... 22 2.5.1 Quản trị doanh nghiệp thông minh (Busines Intelligence). ......................................... 22 2.5.2 Quản lý mối quan hệ khách hàng................................................................................. 22 3 2.5.3 Khai phá dữ liệu .......................................................................................................... 22 2.5.4 Quản lý dữ liệu chủ ..................................................................................................... 23 2.5.5 Tích hợp dữ liệu khách hàng........................................................................................ 23 2.6 Xu hướng tương lai của kho dữ liệu ................................................................................... 23 2.6.1 Dữ liệu phi cấu trúc...................................................................................................... 24 2.6.2 Tìm kiếm...................................................................................................................... 24 2.6.3 Kiến trúc hướng dịch vụ. ............................................................................................. 24 2.6.4 Kho dữ liệu thời gian thực. .......................................................................................... 24 CHƯƠNG 3:TỔNG QUAN VỀ MICROSOFT SQL SERVER 2005 ........................................ 25 3.1 Tổng quan về hệ quản trị cơ sở dữ liệu Microsoft SQL Server. ......................................... 25 3.2 Tổng quan về SQL Server Integration Service(SSIS). ....................................................... 27 3.3 Tổng quan về SQL Server Analysis Service ...................................................................... 28 3.4 Tổng quan về ngôn ngữ truy vấn MDX.............................................................................. 30 3.5 Tổng quan về SQL Server Reporting Services. .................................................................. 33 3.6 Phương pháp xây dựng kho dữ liệu bằng các công cụ của Microsoft SQL Server 2005. .. 34 CHƯƠNG 4: PHÂN TÍCH THIẾT KẾ ........................................................................................ 36 4.1 Phân tích hệ thống nguồn.................................................................................................... 36 4.1.1 Chức năng thống kê báo cáo và theo dõi lịch sử hoạt động của khách hàng ............ 36 4.1.2 Quản lý quảng cáo của các dịch vụ.............................................................................. 37 4.2 Thiết kế kho dữ liệu. ........................................................................................................... 37 4.2.1 Kho dữ liệu chủ đề tổng hợp sản lượng dịch vụ. ......................................................... 37 4.2.2 Hệ thống quản lý quảng cáo ....................................................................................... 42 4.2.3 Kho dữ liệu chủ đề chi tiết sử dụng dịch vụ của khách hàng. .................................... 46 4.3 Sử dụng SSIS để xây dựng tiến trình ETL ........................................................................ 48 4.3.1 Mô tả chung . ............................................................................................................... 48 4.3.2 Ánh xạ dữ liệu cho các chiều. ...................................................................................... 48 4.3.2.1 Chiều mã dịch vụ. ................................................................................................. 48 4.3.2.2 Chiều mạng viễn thông ......................................................................................... 49 4.3.2.3 Chiều đầu số.......................................................................................................... 49 4.3.2.4 Chiều nhóm dịch vụ. ............................................................................................. 50 4.3.2.5 Chiều thời gian...................................................................................................... 50 4.3.2.6 Bảng sự kiện tổng hợp sản lượng ........................................................................ 50 4.3.2.7 Chiều Quảng cáo . ............................................................................................ 51 4.3.2.8 Chiều khách hàng.................................................................................................. 51 4.3.2.9 Ánh xạ dữ liệu cho bảng sự kiện quảng cáo. ....................................................... 52 4.3.2.10 Ánh xạ dữ liệu cho bảng sự kiện chi tiết dịch vụ............................................... 52 4.4 Sử dụng dịch vụ SSAS để xây dựng các cơ sở dữ liệu nhiều chiều .................................. 52 4 4.4.1 Xây dựng cube cho kho dữ liệu chủ đề tổng hợp sản lượng........................................ 52 4.4.2 Xây dựng cube cho kho dữ liệu chủ đề quảng cáo và chi phí...................................... 57 4.4.3 Xây dựng cube cho kho dữ liệu chủ đề chi tiết sử dụng dịch vụ. ............................... 58 4.4.4 Sử dụng truy vấn MDX để lấy dữ liệu trên cube ......................................................... 58 4.4 Sử dụng dịch vụ SSRS để xây dựng các báo cáo................................................................ 59 4.4.1 Báo cáo sản lượng đầu số. ........................................................................................... 59 4.4.1.1 Yêu cầu: ................................................................................................................ 59 4.4.1.2 Cách xây dựng . .................................................................................................... 59 4.4.2 Báo cáo sản lượng theo các mạng viễn thông.............................................................. 63 4.4.3 Báo cáo sản lượng theo đầu số và nhóm dịch vụ......................................................... 64 KẾT LUẬN................................................................................................................................... 66 5.1 Những điều đã làm được..................................................................................................... 66 5.2 Những điều chưa làm được và hướng phát triển................................................................ 66 TÀI LIỆU THAM KHẢO ............................................................................................................ 67 PHỤ LỤC 1................................................................................................................................... 68 PHỤ LỤC 2................................................................................................................................... 69 5 DANH SÁCH HÌNH VẺ Hình 1.1 Kiến trúc kho dữ liệu ...................................................................................12 Hình 2.2 tiến trình ETL nằm ở nguồn dữ liệu ............................................................15 Hình 2.3 Tiến trình ETL nằm ở server chứa kho dữ liệu ..........................................15 Hình 2.3 Tiến trình ETL nằm ở server trung gian .....................................................16 Hình 2.4 Lược đồ hình sao ........................................................................................17 Hình 2.5 lược đồ hình bông tuyết ...............................................................................18 Hình 2.6 Mô hình dữ liệu nhiều chiều........................................................................18 Hình 3.1 Các dịch vụ của SQL Server 2005...............................................................22 Hình 3.2 Công cụ phát triển SSIS...............................................................................24 Hình 3.3 Kiến trúc của SSAS .....................................................................................26 Hình 3.4 Kết quả truy vấn...........................................................................................29 Hình 3.5 Kiến trúc của Reporting Service..................................................................31 Hình 3.5 Mô hình xây dựng kho dữ liệu.....................................................................32 Hình 4.1 sơ đồ kho dữ liệu tổng hợp sản lượng dịch vụ.............................................35 Hình 4.2 Sơ đồ kho dữ liệu chủ đề quảng cáo và doanh thu ......................................40 Hình 4.3Mô hình dữ liệu nguồn của chiều quảng cáo................................................42 Hình 4.4 Mô hình kho dữ liệu chủ đề chi tiết sử dụng dịch vụ ..................................43 Hình 4.5 Mô hình ETL ...............................................................................................45 Hình 4.6 Ánh xạ chiều mã dịch vụ ............................................................................46 Hình 4.7 Ánh xạ chiều mạng viễn thông ....................................................................46 Hình 4.8 Ánh xạ chiều đầu số.....................................................................................47 Hình 4.9 Ánh xạ nhóm dịch vụ...................................................................................47 Hình 4.10 Ánh xạ chiều quảng cáo.............................................................................48 Hình 4.11 Ánh xạ cho chiều khách hàng....................................................................49 Hình 4.12 Lược đồ kho dữ liệu tổng hợp sản lượng...................................................50 6 Hình 4.13 Chọn các bảng cho data soures views ......................................................51 Hình 4.14 Đặt các quan hệ cho các bảng....................................................................52 Hình 4.15 Quyết định các bảng chiều và sự kiện .......................................................53 Hình 4.17 Chọn các Measures. Các thành phần tính toán. .........................................53 Hình 4.18 Định nghĩa các hàm tính toán ....................................................................54 Hình 4.19 Kết quả hiển thị truy vấn ...........................................................................55 Hình 4.20 Xây dựng truy vấn .....................................................................................57 Hình 4.21 Thiết kế báo cáo.........................................................................................58 Hình 4.22 Màn hình xây dựng báo cáo.......................................................................58 Hình 4.22 Kết quả hiển thị. ........................................................................................59 Hình 4.24 Báo cáo theo mạng viễn thông...................................................................60 Hình 4.25 Báo cáo theo nhóm dịch vụ .......................................................................61 7 THUẬT NGỮ VÀ VIẾT TẮT SSIS (SQL Server Intergration Services): Dịch vụ tích hợp dữ liệu của SQL Server 2005 SSAS(SQL Server Analysis Services): Dịch vụ phân tích dữ liệu của SQL Server 2005 SSRS(SQL Server Reporting Services): Dịch vụ quản lý báo cáo của SQL Server 2005 MSSQL(Microsoft SQL Server ): Hệ quản trị cơ sở dữ liệu của Microsoft. OLAP (Online Transaction Processing): xử lý giao dịch trực tuyến. ETL (Extract Transform Load ): Tiến trình trích xuất, chuyển đổi và nạp dữ liệu. MDX(Multidimensional eXpressions) : Ngôn ngữ truy vấn đa chiều. BIDS(Business Intelligence Deverlopment Studio) : công cụ phát triển của SQL Server 2005. 8 TÓM TẮT NỘI DUNG Nội dung chính của đề tài là xây dựng kho dữ liệu cho việc quản lý kinh doanh các dịch vụ giá trị gia tăng trên điện thoại tại Công Ty Cổ Phần Truyền Thông VMG Việt Nam. Đề tài sẽ sử dụng các công cụ của Microsoft SQL Server 2005 để xây dựng kho dữ liệu từ hệ thống hiện tại của công ty, quản lý kho dữ liệu và xây dựng các báo cáo cho người dùng có thể xem qua web. 9 MỞ ĐẦU Trong nền kinh tế hiện nay, thông tin là yếu tố sống còn đối với bất kỳ doanh nghiệp nào.Việc nắm bắt thông tin giúp cho các doanh nghiệp hoạch định các chiến lược kinh doanh cho mình một cách chính xác. Trong những năm gần đây, công nghệ kho dữ liệu ra đời đáp ứng được nhu cầu quản lý, lưu trữ thông tin có khối lượng lớn và có khả năng khai thác dữ liệu đa chiều và theo chiều sâu nhằm hỗ trợ việc ra quyết định của các nhà quản lý. Đối với các doanh nghiệp nước ngoài, họ đã áp dụng kho dữ liệu trong quản lý phân tích dữ liệu và đã cho thấy hiệu quả to lớn giúp ích cho việc hoạch định các chiến lược kinh doanh cũng như nghiên cứu phát triển các ứng dụng phân tích dữ liệu. Tại Công Ty Cổ Phần Truyền Thông VMG , xây dựng kho dữ liệu có ý nghĩa hết sức quan trọng. Kho dữ liệu sẽ thu thập dữ liệu từ các hệ thống nghiệp vụ, cung cấp các thông tin hữu ích cho các nhà quản lý có thể có những thông tin chính xác nhanh chóng, hỗ trợ cho việc ra các quyết định kịp thời và có lợi nhất cho doanh nghiệp. Ngoài ra kho dữ liệu còn cung cấp cho những người phát triển các ứng dụng phân tích dữ liệu dễ dàng tiếp cận dữ liệu, có được dữ liệu chính xác hơn và phát triển ứng dụng dễ dàng hơn. Xuất phát từ nhu cầu thực tiễn tại Công Ty Cổ Phần Truyền Thông VMG , khóa luận sẽ thực hiện “Áp dụng kho dữ liệu trong phân tích số liệu về các dịch vụ giá trị gia tăng trên điện thoại” bằng công cụ của Microsoft SQL Server 2005 với mong muốn xây dựng được kho dữ liệu hoàn chỉnh hỗ trợ cho việc quản lý tại Công Ty Cổ Phần Truyển Thông VMG. Nội dung của khóa luận bao gồm những phần chính như sau: Mở đầu Đây là phần giới thiệu chung về lý do chọn đề tài, cũng như bố cục chung của khóa luận 10 Chương 1: Tổng quan Nội dung chính của chương này là nêu lên tổng quan về dữ liệu của hệ thống cung cấp các dịch vụ giá trị gia tăng trên điện thoại, mục tiêu , phạm vi của đồ án , công cụ và phương pháp xây dựng kho dữ liệu. Chương 2: Tổng quan về Data WareHouse Nội dung chính của chương này là trình bày tổng quan về data warehouse gồm: định nghĩa, đặc tính,mô hình, kiến trúc và xu hướng tương lai của data warehouse. Chương 3 Tổng quan về Microsoft SQL Server 2005 Mục tiêu chính của chương này nhằm giới thiệu về các công cụ sẽ được sử dụn