Bài giảng Phương thức xây dựng kho dữ liệu

Chương 7: Phương thức xây dựng kho dữ liệu Mục đích • Chứng thực việc sử dụng phương pháp luận khi phát triển một giải pháp kho dữ liệu • Xác định phương thức như là chuổi tiến trình và tác vụ • Giải thích lợi ích của hướng tăng tiến trong việc phát triển kdl • Xác định các kĩ năng đáp ứng cho việc thực thi kho dữ liệu Tiến trình • Phương thức – Các tài liệu kĩ thuật, phân ra các module – Xác lập các chuẩn hóa – Cải tiến phương thức phân phối công việc – Định nghĩa các tác vụ và phân phối công việc • Các công cụ phần mềm và tài liệu hướng dẫn • Phương thức kho dữ liệu – Các tác vụ và phân phối công việc để xây dựng kho dữ liệu và cài đặt Phương thức • Dựa trên cơ sở của công nghệ phần mềm • Cải tiến bằng: – Nhận dạng các tác vụ lặp – Định nghĩa các tác vụ một cách nhất quán – Xác định các tiêu chuẩn đảm bảo chất lượng và sự đầy đủ của dữ liệu – Đinh nghĩa việc quản lí tác vụ – Tối ưu hóa các tác vụ Các thành phần • Nhằm vào các thành phần: – Thu thập dữ liệu – Siêu dữ liệu – Thiết kế kĩ thuật cho kho dữ liệu – Truy cập dữ liệu – Chất lượng dữ liệu – Khám phá TàI liệu và công cụ hỗ trợ • Workplan Templates • Deliverables Templates • Online Handbooks • Quick Tour • Method Handbook • Process and Task Reference • Deliverables Reference Software Tools Handbooks Phương pháp luận • Tập trung vào phạm vi của ứng dụng • Quản lí được các rủi ro • Căn cứ vào các đóng góp của người dùng • Cung cấp các giảI pháp có thể mở rộng • Sử dụng nhiều công nghệ khác nhau • Nhận dạng các tác vụ với các đối tượng và định nghĩa rõ ràng • Đưa các tác vụ vào trong các tiến trình, nhóm tiến trình theo giai đoạn Các lợi ích Consistency Productivity Experience & Best Practices Flexibility Risk Avoidance Các yếu tố căn bản • Các tiến trình • Các hướng • Tác vụ và phân bố tác vụ • Các chức năng Phase 1 Phase 2 Phase 3 Phase 1 Task1 Phase 1 Task2 Phase 1 Task3 Phase 3 Task1 Phase 3 Task2 Phase 3 Task3 Phase 2 Task1 Phase 2 Task2 Phase 2 Task3 Process 1 Process 2 Các tiến trình • Tập kết dính các tác vụ để thực hiện các mục tiêu • Tập các kĩ năng chung • Dự án có thể chuyển giao • Đa số là trùng lặp, một số thì lệ thuộc vào tiến trình trước Các tiến trình Business Requirements Definition Data Acquisition Data Quality Warehouse Administration Metadata Management Data Access Database Design and Build Documentation Testing Training Transition Post-Implementation Support Architecture Định nghĩa các yêu cầu kinh doanh • Định nghĩa các yêu cầu • Phân lớp các vùng • Khởi tạo các kế hoạch cài đặt • Cung cấp sự khởi đầu tập trung vào việc tiến hành xây dựng hệ thống cho công ty • Xác định các yêu cầu về thông tin • Các yêu cầu về mô hình Thu thập dữ liệu • Xác định, chiết, chuyển đổi, và chuyển tải dữ liệu nguồn • Xem xét dữ liệu bên trong và bên ngoài • Chuyển dời dữ liệu giữa nguồn và đích • Thực hiện phân tích kết nối giữa dữ liệu nguồn và các đối tượng csdl đích • Định nghĩa việc thu thập lần đầu và kế hoạch làm tươi dữ liệu • Định nghĩa các yêu cầu về công cụ • Xây dựng, test, và thực hiện các module nạp dữ liệu Kiến trúc • Định rõ các nền tảng kĩ thuật • Thiết kế kiến trúc kho dữ liệu • Tích hợp các thành phần kiến trúc cho mục đích khả biến và mềm dẻo • Xác định môi trường CSDL, phân tán hay tập trung • Định nghĩa các môi trường phát triển, test, huấn luyện, và sản xuất • Cấu hình nền Configure the platform • Thực hiện việc tính dung lượng CSDL • Xem xét việc làm sạch đĩa Chất lượng của dữ liệu • Đảm bảo tính nhất quán, đáng tin cậy và chính xác của dữ liệu • Phát triển một chiến lược để: – Làm sạch dữ liệu – Các chức năng đảm bảo tính toàn vẹn của dữ liệu – Các chức năng quản lí chất lượng của dữ liệu • Xác định các luật kinh doanh: – Làm sạch dữ liệu – Xử lí các lỗi • Các yêu cầu cho việc tạo ra các công cụ kiểm tra chất lượng của dữ liệu • Xây dựng, test, và thực hiện các module cho việc tạo và kiểm chứng chất lượng dữ liệu Bảo trì kho dữ liệu • Định rõ một chiến lược bảo trì kho dữ liệu – Quản lý cấu hình – Quản lý kho dữ liệu – Sự quản lí và chi phối dữ liệu • Định nghĩa dòng công việc quản lí kdl và các yêu cầu về công cụ • Xây dựng, test, và thực hiện các module cho việc bảo trì kho dữ liệu • Quản lý việc truy cập dữ liệu và giám sát • Tự động hóa các tác vụ quản lý kdl Các loại siêu dữ liệu • Định nghĩa chiến lược cho việc tạo và quản lí siêu dữ liệu • Định nghĩa các kiểu siêu dữ liệu • Chỉ rõ các yêu cầu cho lưu trữ siêu dữ liệu đáp ứng các yêu cầu quản lí việc tích hợp và truy cập • Khởi tạo các khung nhìn kĩ thuật và kinh doanh cho siêu dữ liệu • Phát triển các module cho việc nắm bắt, kết nối và truy cập siêu dữ liệu Truy cập dữ liệu • Nhận diện, chọn lựa và thiết kế các công cụ quản lí việc truy cập của người dùng • Định nghĩa các hồ sơ của người dùng • Xác định các yêu cầu của kiểu giao diện, các cấu trúc câu hỏi, các báo cáo, và các loại người dùng • Ước lược, đánh giá và cài đặt các công cụ quản lí việc truy cập • Thiết kế và phát triển các đối tượng truy cập dữ liệu – Câu hỏi và báo cáo – Catalogs – Chiều và các phân cấp Thiết kế và xây dựng cs dữ liệu • Hỗ trợ các yêu cầu dữ liệu • Thiết kế CSDL nhằm mục đích cung cấp các truy cập có hiệu quả • Tạo và phê chuẩn các mô hình logic và vật lí • Tạo lập các đối tượng CSDL quan hệ và đa chiều • Ước lược các phân đoạn, các đoạn, và việc sắp xếp • Nhận diện các khóa và chỉ mục • Xây dựng và cài đặt các đối tượng csdl Lập tài liệu • Cung cấp các văn bản có thể cung cấp các thông tin: – Từ điển thuật ngữ Glossary – Tài liệu cho người dùng và tài liệu kĩ thuật User and technical documentation – Trợ giúp trực tuyến Online help – Hướng dẫn tham khảo siêu dữ liệu – Tham cứu sự quản lí kdl – Hướng dẫn các tính năng mới Test • Phát triển một chiến lược để test hệ thống • Tạo lập các kế hoạch , kịch bản cho việc test • Test tất cả các thành phần – Thu thập dữ liệu – Truy cập dữ liệu – Các truy cập đặc biệt – Hồi quy, – Các volume – Backup – Sự khôi phục Recovery Huấn luyện • Định nghĩa các yêu cầu – Về kĩ thuật Technical – Của người dùng cuối End user – Của yêu cầu kinh doanh • Nhận diện các cá nhân cho việc huấn luyện • Tạo lập khung thời gian cho việc huấn luyện • Thiết kế và phát triển các tài liệu • Tập trung vào việc huấn luyện sử dụng các công cụ hỗ trợ hoạt động của kho dữ liệu Chuyển giao • Định nghĩa các tác vụ cho việc chuyển giao sử dụng kdl • Chuyển giao các chức năng và module • Phát triển kế hoạch cài đặt • Chuẩn bị môi trường bảo trì • Chuẩn bị môi trường cho việc sử dụng kho dữ liệu Hỗ trợ hậu thực thi • Ước lượng và khảo sát việc sử dụng kdl • Giám sát việc sử dụng kdl • Làm tươI kdl • Giám sát và phản hồi các vấn đề xảy ra • Điều khiển thực hiện test • Có trách nhiệm chuyển giao sản phẩm • Ước lượng và khảo sát các giải pháp thực thi Các hướng thực thi •Incremental Packaged data mart Warehouse Infrastructure Implementation Business Application Implementation Increment I Proof of Concept Increment II through N Increment II through N Warehouse Data mart Data mart Data mart Hướng tăng tiến Phát triển tăng tiến • Tập trung vào chức năng kinh doanh • Đưa ra các lợi ích trong kinh doanh • Xem thử có phù hợp cho việc tăng trưởng, tiến hoá của kdl không ? • Khi một tăng tiến hoàn thành, các chọn lựa và phạm vi của tăng tiến tiếp theo sẽ được định nghĩa StrategyStrategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture DefinitionDefinition AnalysisAnalysis DesignDesign BuildBuild Transition to ProductionTransition to Production DiscoveryDiscovery Incremental Development Chiến lược • Tập trung vào các khía cạnh của một giải pháp kdl cho một xí nghiệp • Cung cấp một nền tảng vững chắc cho tương lai • Xác định các chiến lược – Thu thập dữ liệu – Quản lí kdl – Chất lượng dữ liệu – Siêu dữ liệu – Truy cập dữ liệu Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Các định nghĩa • Nhận diện và khoanh vùng các tăng tiến • Tài liệu ghi thông tin về các nguồn dữ liệu • Phát triển các kế hoạch nạp và làm tươi dữ liệu • Chuẩn bị một kiến trúc kĩ thuật • Định nghĩa phạm vi của chất lượng dữ liệu • Định nghĩa các chiến lược quản lí sự tăng tiến của kho dữ liệu • Định nghĩa siêu dữ liệu, truy cập, và test và kế hoạch huấn luyện Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Phân tích • Thu thập các yêu cầu về thông tin • Hoàn thành các mô hình kdl và đa chiều • Trau chuốt kế hoạch thu thập dữ liệu • ánh xạ các nguồn dữ liệu • Phát triển các kế hoạch tích hợp • Tài liệu quản lí các lỗi và các ngoại lệ • Đánh giá và chọn các công cụ • Lập các báo cáo về việc truy cập các yêu cầu về truy cập dữ liệu • Phân tích các kế hoạch test Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Thiết kế • Định nghĩa các chuẩn hóa trong thiết kế • ánh xạ dữ liệu nguồn vàp csdl logic • Phát triển các module cho việc nạp và làm tươi dữ liệu trong kdl • Thiết kế các kế hoạch cho việc cài đặt phần cứng và phần mềm • Thiết kế các đặt tả cho việc truy cập dữ liệu • Khởi tạo thiết kế csdl vật lý • Phát triển và chuẩn bị các nền test • Khởi tạo các tài liệu hướng dẫn, tham khảo và huấn luyện người dùng • Phát triển chiến lược chuyển giao Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Xây dựng • Ánh xạ dữ liệu nguồn vào csdl vật lý • Mã hóa các modules • Tích hợp kiến trúc tăng tiến với kiến trúc kinh doanh của xí nghiệp • Xây dựng các module quản lí chất lượng dữ liệu • Xây dựng các module quản lý siêu dữ liệu • Tiến hành test các module và hệ thống • Hoàn thành các tài liệu hướng dẫn sử dụng và kĩ thuật • Phát triển kế hoạch cài đặt Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Chuyển giao • Sử dụng, và phân bố dữ liệu • Huấn luyện cho người dùng và quản lí hệ thống • Điều chỉnh hệ thống csdl • Thực thi các chức năng quản lí kdl • Chỉ đạo người dùng test hệ thống • Cung cấp sự ước lượng trong việc sử dụng Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Khám phá • Khảo sát các tăng tiến có thể thực thi được • Khảo sát các yêu cầu xuất sắc • Lập tài liệu cho các kinh nghiệm và các bài học • Khảo sát các kế hoạch cho dự án mở • Đánh gián kiến trúc kdl và kĩ thuật khả thi Strategy Strategy PGM/PJM Project and Program Management PGM/PJM Project and Program Management ETA Enterprise Technical Architecture ETA Enterprise Technical Architecture Definition Definition Analysis Analysis Design Design Build Build Transition to Production Transition to Production Discovery Discovery Incremental Development Các tác vụ và sự thực thi • Được phát thảo trong cấu trúc phân chia nhỏ công việc • Được tổ chức theo tiến trình và giai đoạn Task Id Task Name A Strategy A.RD.EXEC Business Requirements Definition A.RD.001 Obtain Existing Reference Material A.RD.002 Obtain Reference Data Models A.RD.003 Define Strategic Goals, Vision of the Enterprise A.RD.004 Establish Business Initiatives A.RD.005 Define Objectives and Purpose of Enterprise Data Warehouse A.RD.015 Collect Enterprise Business Information Requirements A.RD.034 Document Data Warehouse Subject Areas A.RD.035 Create Data Warehouse Subject Area Data Model A.RD.044 Define Data Warehouse Implementation Roadmap A.RD.045 Prepare Business Case for Enterprise Data Warehouse Các tác vụ và sự thực thi • The project team: chức năng và trách nhiệm • Các chức năng chung – Phân tích, quản trị csdl, lập trình, và test – Các chức năng đặc biệt của kdl – Kiến trúc kdl, kiến trúc siêu dữ liệu, quản trị chất lượng dữ liệu, quản trị kdl