Chương 2: Qui trình phát triển kho dữ liệu

Data Warehouse and Business Intelligence 1 Chương 2: Qui trình phát triển kho dữ liệu Data Warehouse and Business Intelligence 2 Nội dung 1. Tổng quan 2. Các phương pháp luận phát triển kho dữ liệu 3. Hoạch định kho dữ liệu 4. Business Dimensional Lifecycle Data Warehouse and Business Intelligence 3 1. Tổng quan
Một số câu hỏi quan trọng cần được xem xét trước khi quyết định xây dựng kho dữ liệu:  Theo các tiếp cận Top-down hay bottom-up ?  Dùng cho mức doanh nghiệp hay phòng ban ?  Cái nào trước —data warehouse hay data mart ?  Build pilot or go with a full-fledged implementation?  Data mart phục thuộc hay độc lập ? Data Warehouse and Business Intelligence 4 2. Các phương pháp phát triển KDL Có 2 phương pháp phát triển chính:  Top-Down  Bottom-Up Data Warehouse and Business Intelligence 5 2.1 Top-Down  Dữ liệu trong KDL được lưu trữ ở mức “hạt” thấp nhất dựa trên mô hình dữ liệu đã chuẩn hóa  KDL là trung tâm của “Xưởng thông tin công ty” (CIF) cung cấp một khung luận lý cho việc chuyển giao kinh doanh thông minh đến doanh nghiệp. Các hoạt động kinh doanh cung cấp dữ liệu cho CIF.  KDL được tập trung hóa sẽ cung cấp các data mart phụ thuộc có thể được thiết kế dựa trên mô hình dữ liệu có chiều Data Warehouse and Business Intelligence 6 2.1 Top-Down (tt)
Thuận lợi:  Có được cái nhìn dữ liệu của toàn doanh nghiệp  Vốn đã có kiến trúc, không phải là việc hợp nhất các data mart khác nhau  Lưu trữ tập trung  Các luật và kiểm soát tập trung  Có thể thấy kết quả nhanh chóng nếu thực hiện với các mực lặp
Hạn chế:  Mất nhiều thời gian  Tiềm ẩn rủi ro và thất bại cao  Cần có những kỹ năng của nhiều lĩnh vục ở mức cao  Tốn chi phí Data Warehouse and Business Intelligence 7 2.2 Bottom-Up
KDL công ty như là tập hợp của các data mart được làm cho phù hợp
Data mart được tạo ra trước để cung cấp khả năng phân tích và báo cáo cho những việc kinh doanh chuyên biệt dựa trên mô hình dữ liệu có chiều Data Warehouse and Business Intelligence 8 2.2 Bottom-Up (tt)
Thuận lợi:  Thực hiện nhan và dễ hơn với những phần có thể quản lí  Có thuận lợi về lợi nhuận đầu tư và có bằng chứng  Rủi ro thất bại ít  Vốn có thể phát triển  Cho phép nhóm dự án học tập và tăng trưởng
Hạn chế:  Mội data mart có cái nhìn hẹp về dữ liệu  Tràn ngập dữ liệu dư thừa trong mỗi data mart  Tràn ngập dữ liệu không tương thích và bất thường  Gia tăng các giao diện không thể quản lí Data Warehouse and Business Intelligence 9 3. Hoạc định cho KDL 3.1 Các vấn đề then chốt 3.2 Các yêu cầu nghiệp vụ phi công nghệ 3.3 Hỗ trợ của quản lí cấp cao 3.4 Biện minh cho KDL 3.5 Kế hoạch tổng thể Data Warehouse and Business Intelligence 10 3.1 Các vấn đề then chốt
Giá trị và những mong đợi
Đánh giá rủi ro
Top-Down hoặc Bottom-Up
Xây dựng hoặc mua
Single Vendor hoặc Best-of-Breed Data Warehouse and Business Intelligence 11 3.2 Các yêu cầu nghiệp vụ phi công nghệ
Các yêu cầu nghiệp vụ điều khiển KDL chứ không phải công nghệ
Giải quyết nhu cầu người dùng về thông tin chiến lược
Không lập kế hoạch xây dựng KDL trước khi hiểu yêu cầu
Bắt đầu bằng việc tập trung vào thông tin gì là cần thiết, không phải làm thế nào để cung cấp thông tin
Không đặt nặng vào công cụ
Cấu trúc cơ bản và kiến trúc để hỗ trợ yêu cầu người dùng là quan trọng hơn
Làm nghiên cứu sơ bộ Data Warehouse and Business Intelligence 12 3.3 Top Management Support
Để thành công cần có sữ hỗ trợ của các nhà quản lí
Dự án cần có dự hỗ trợ đầy đủ của các nhà quản lí cấp cao ngay từ đầu
KDL thường phải thỏa mãn các yêu cầu có tính xung đột. Data Warehouse and Business Intelligence 13 3.5 Biện minh cho KDL
Một phác thảo của cấu trúc chi phí:  Hardware: 31%  Software (gồm DBMS): 24%  Nhân viên và người tích hợp hệ thống: 35%  Quản trị:10%
Làm sao để chứng minh về rủi ro và lợi ích (vô hình và hữu hình) ?
Làm sao tính toán ROI và ROA ?
Xây dựng business case như thế nòa ? Data Warehouse and Business Intelligence 14 3.6 Kế hoạch tổng thể
Hạt giống cho KDL được gieo nầm từ nhiều cách
Khuyến cáo cần có CEO hoặc những nhà điều hành cấp cao đề xuất KDL như là giải pháp cho các vấn đề về thông tin của công ty
Có kế hoach thảo luận về kiểu KDL và danh sách những điều mong đợi Data Warehouse and Business Intelligence 15 4. The Business Dimensional Lifecycle (Ralph Kimball,etc, 2001, The Data Warehouse Lifecycle Toolkit) Data Warehouse and Business Intelligence 16 4. The Business Dimensional Lifecycle (tt.)
Minh họa luồng tổng thể của việc thực hiện KDL
Xác định tuần tự các nhiệm vụ và các hoạt động chính thực hiện đồng thời
Có thể có chỉnh sửa để đáp ứng những nhu cầu đơn nhất của tổ chức Data Warehouse and Business Intelligence 17 4.1 Hoạch định dự án
Hoạch định dự án nhấn vào định nghĩa và phạm vi dữ liệu bao gồm việc đánh giá sự sẵn sàng và minh chứng về mặt kinh doanh
Tập trung vào nguồn lực và cấp độ kỹ năng của nhân viên
Hoạch định dự án phụ thuộc vào các yêu cầu kinh doanh Data Warehouse and Business Intelligence 18 4.2 Xác định các yêu cầu kinh doanh
Hiểu yêu cầu kinh doanh của người dùng là trở ngại lớn nhất đối với sự thành công của KDL
Các yêu cầu kinh doanh thiết lập thông qua 3 luồng song song tập trung vào công nghệ, dữ liệu và các ứng dụng người dùng Data Warehouse and Business Intelligence 19 Ba luồng song song Application Track Technology Track Data Track Data Warehouse and Business Intelligence 20 4.3 Ba luồng song song (tt)
Luồng dữ liệu (Data Track)  Mô hình chiều  Thiết kê vật lý  Thiết kế và phát triển giai đoạn dữ liệu (Data Staging)
Luồng công nghệ (Technology Track)  Thiết kế kiến trúc kỹ thuật  Chọn lựa và cài đặt kết quả
Luồng ứng dụng (Application Track)  Đặc tả ứng dụng người dùng cuối  Phát triển ứng dụng người dùng cuối Data Warehouse and Business Intelligence 21 4.4 Mô hình chiều
Thiết kế mô hình dữ liệu để hỗ trợ doanh nghiệp phân tích các yêu cầu có một cách tiếp cận khác so với thiết kế hệ thống hoạt động
Bắt đầu xây dựng ma trận gồm có các khóa của qui trình kinh doanh và chiều của nó
Tiếp theo phân tích dữ liệu chi tiết hơn tương thích với các hệ thống nguồn
Sau đó phát triển một mô hình chiều, trong đó xác định các hạt (grain) bảng sự kiện, các chiều liên quan, các thuộc tính và các kế thừa Data Warehouse and Business Intelligence 22 4.5 Thiết kế vật lý
Tập trung vào các cấu trúc vật lí cần thiết để hỗ trợ cho thiết kế luận lý
Bao hàm các tiêu chuẩn định danh và thiết lập môi trường cơ sở dữ liệu
Các chiến lược đánh chỉ mục và phân hoạch sơ bộ cũng cần được xem xét Data Warehouse and Business Intelligence 23 4.6 Thiết kế và phát triển dữ liệu tạm
Thường bị đánh giá thấp nhất trong dự án KDL
Bao gồm 3 bước chính: rút trích, chuyển đổi và nạp
Quá trình rút trích luôn bộc lộ những vấn đề về chất lượng dữ liệu trong hệ thống tác nghiệp
Vấn đề chất lượng dữ liệu luôn cần phải được lưu ý trong giai đoạn xây dựng trạm dữ liệu Data Warehouse and Business Intelligence 24 4.7 Thiết kế kiến trúc kỹ thuật
KDL yêu cầu việc tích hợp của nhiều công nghệ
Những nhân tố then chốt cần xem xét:  Yêu cầu nghiệp vụ  Môi trường công nghệ hiện tại  Kỹ thuật chiến lược Data Warehouse and Business Intelligence 25 4.8 Chọn lựa và cài đặt kết quả
Dùng các kiến trúc kỹ thuật như framework
Qui trình đánh giá tiêu chuẩn kỹ thuật đi theo những nhân tố lượng giá cho mỗi thành phần kiến trúc được định nghĩa
Sau chọn lựa và cài đặt, yêu cầu có quá trình kiểm tra để chắc chắn việc tích hợp tương thích Data Warehouse and Business Intelligence 26 4.9 Đặc tả ứng dụng người dùng cuối
Xác định một tập tiêu chuẩn các ứng dụng người dùng cuối hơn là cho một ứng dụng đơn lẻ
Các đặc tả mô tả mẫu báo cáo, các thông số hướng người dùng và các yêu cầu tính toán
Các đặc tả phải chắc chắn rằng nhóm phát triển và người dùng có cùng cách hiểu đối với ứng dụng được chuyển giao Data Warehouse and Business Intelligence 27 4.10 Phát triển ứng dụng người dùng cuối
Việc phát triển bao gồm cấu hình công cụ siêu dữ liệu và xây dựng các báo báo cáo đặc tả
Các ứng dụng có thể xây dựng dùng công cụ truy xuất dữ liệu nâng cao để cung cấp những sản phẩm có ý nghĩa
Dùng các công cụ truy xuất dữ liệu nâng cao cũng thường đưa ra một cơ cấu mạnh mẽ cho người dùng dễ dàng chỉnh sửa các mẫu báo cáo sẵn có Data Warehouse and Business Intelligence 28 4.11 Cài đặt
Cài đặt thể hiện sụ hội tụ của công nghệ, dữ liệu và các ứng dụng người dùng cuối
Huấn luyện người dùng là rất quan trọng
Hỗ trợ người dùng, qui trình giao tiếp, chiến lược phản hồi nên thiết lập trước khi người dùng truy xuất đến KDL
Cài đặt nên hoãn lại nếu tất cả các mảng công việc chưa sẵn sàng Data Warehouse and Business Intelligence 29 4.12 Bảo trì và phát triển
Tập trung vào phía bên trong để chắc chắn tính tin cậy của KDL
Các chỉ số chấp nhận và hiệu suất nên được đo lường nhiều lần và ghi log để hỗ trợ tiếp thị cho KDL
Những thay đổi nên được xem xét như dấu hiệu của thành công chứ không phải là thất bại
Các tiến trình ưu tiên nên được thiết lập sao cho thỏa mãn các nhu cầu tăng thêm
Sau khi các ưu tiên được xác định, quay lại từ đầu của chu trình Data Warehouse and Business Intelligence 30 4.13 Quản lí dự án
Tập trung theo dõi trạng thái của dự án, ghi nhận vấn đề và thay đổi kiểm soát
Giao tiếp liên tục là mang tính then chốt