Luận văn Nghiên cứu và ứng dụng một số mô hình học máy trong việc hỗ trợ đánh giá rủi ro tài chính

i ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -------***------- HÀ VĂN SANG NGHIÊN CỨU VÀ ỨNG DỤNG MỘT SỐ MÔ HÌNH HỌC MÁY TRONG VIỆC HỖ TRỢ ĐÁNH GIÁ RỦI RO TÀI CHÍNH Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60.48.05 LUẬN VĂN THẠC S NGƯỜI HƯỚNG DẪN KHOA HỌC TS. NGUYỄN HÀ NAM HÀ NỘI – 2009 ii LỜI CAM ĐOAN Tôi xin cam đoan những kết quả đạt được trong luận văn này là do tôi nghiên cứu, tổng hợp và thực hiện. Toàn bộ những điều được trình bày trong luận văn là của cá nhân hoặc được tham khảo và tổng hợp từ các nguồn tài liệu khác nhau. Tất cả các tài liệu tham khảo, tổng hợp đều được trích dẫn với nguồn gốc rõ ràng. Tôi xin chịu hoàn toàn trách nhiệm về lời cam đoan của mình. Nếu có gì sai trái, tôi xin chịu mọi hình thức kỷ luật theo qui đinh. Hà Nội, tháng 5 năm 2008 Học viên Hà Văn Sang iii LỜI CẢM ƠN Tôi muốn bày tỏ lòng biết ơn sâu sắc tới những người đã giúp đỡ tôi trong quá trình làm luận văn, đặc biệt tôi xin cám ơn TS Nguyễn Hà Nam, với lòng kiên trì, thầy đã chỉ bảo tôi chi tiết và cho tôi những lời nhận xét quí báu trong từng bước làm luận văn. Đồng thời tôi cũng xin gửi lời cảm ơn tới các thầy cô giáo khoa Công nghệ thông tin – Trường Đại học Công nghệ - Đại học Quốc gia Hà nội đã truyền đạt các kiến thức cho tôi trong suốt thời gian học tập và nghiên cứu vừa qua. Tôi cũng xin chân thành cảm ơn cơ quan, bạn bè, đồng nghiệp, gia đình và những người thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để tôi hoàn thành nhiệm vụ học tập và cuốn luận văn này. Hà nội, tháng 5 năm 2009 Học viên Hà Văn Sang iv MỤC LỤC LỜI CAM ĐOAN ................................................................................................................... i LỜI CẢM ƠN....................................................................................................................... iii MỤC LỤC............................................................................................................................ iv DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT...................................................................... vi DANH MỤC HÌNH VẼ....................................................................................................... vii DANH MỤC BẢNG BIỂU.................................................................................................viii MỞ ĐẦU............................................................................................................................... 1 1. Đặt vấn đề ...................................................................................................................... 1 2. Mục tiêu của nghiên cứu ................................................................................................ 2 3. Cấu trúc của luận văn ..................................................................................................... 2 Chương 1 - MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH.............................................. 3 1.1. Một số khái niệm tài chính .......................................................................................... 3 1.1.1 Phân tích tài chính ................................................................................................. 3 1.1.2 Báo cáo tài chính ................................................................................................... 4 1.1.3 Phương pháp phân tích tài chính ............................................................................ 5 1.1.4 Dự báo tình hình tài chính...................................................................................... 6 1.2. Rủi ro tài chính............................................................................................................ 7 1.2.1 Khái niệm.............................................................................................................. 7 1.2.2 Nguồn gốc của rủi ro tài chính ............................................................................... 7 1.2.3 Quy trình quản trị rủi ro tài chính........................................................................... 8 1.2.3 Quản trị rủi ro trong đầu tư chứng khoán ............................................................. 10 1.3 Phân tích kỹ thuật trong dự báo thị trường chứng khoán. ............................................ 11 1.3.1 Khái niệm............................................................................................................ 11 1.3.2 Ứng dụng của phân tích kỹ thuật.......................................................................... 12 1.3.3 Các công cụ cơ bản sử dụng trong Phân tích kỹ thuật........................................... 12 1.3.4 Các chỉ dẫn kỹ thuật cơ bản ................................................................................. 14 Chương 2 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU ......................................................... 16 2.1 Giới thiệu về khai phá dữ liệu (Data Mining).............................................................. 16 2.2 Phân lớp ..................................................................................................................... 18 2.2.1 Giới thiệu về phân lớp ......................................................................................... 18 2.2.2 Các phương pháp phân lớp .................................................................................. 20 2.3 Mạng Nơron............................................................................................................... 24 2.4 Hệ mờ (Fuzzy System) ............................................................................................... 28 2.4.1 Định nghĩa tập mờ ............................................................................................... 29 2.4.2 Phép suy diễn mờ ................................................................................................ 30 2.4.3 Phép hợp mờ ....................................................................................................... 32 2.4.4 Giải mờ ............................................................................................................... 34 2.4.5 Hệ suy diễn mờ.................................................................................................... 36 Chương 3 - MÔ HÌNH PHÂN TÍCH RỦI RO TÀI CHÍNH ................................................. 38 v 2.1 Sơ lược về mô hình .................................................................................................... 38 2.2 Phân lớp dữ liệu - Thiết kế mạng nơron ...................................................................... 39 2.2.1 Chọn loại dữ liệu đầu vào .................................................................................... 39 2.2.2 Thu thập dữ liệu .................................................................................................. 39 2.2.3 Tiền xử lý dữ liệu ................................................................................................ 40 2.2.4 Phân hoạch dữ liệu .............................................................................................. 41 2.2.5 Thiết kế và huấn luyện mạng Nơron .................................................................... 41 2.2.6 Phân tích dữ liệu.................................................................................................. 41 2.3 Xây dựng tập luật từ phân tích kỹ thuật ...................................................................... 42 2.3.1 Phân kỳ và hội tụ của đường trung bình di động .................................................. 42 2.3.2 Chỉ số kênh giá hàng hoá - The Commodity Channel Index (CCI) ....................... 43 2.3.3 Chỉ số cường độ tương đối - Relative Strength Index (RSI) ................................. 43 2.3.4 Dải băng Bollinger .............................................................................................. 44 2.4 Kết hợp phân tích kỹ thuật với logic mờ và mạng nơron ............................................. 44 2.4.1 Mô đun chỉ số kỹ thuật ........................................................................................ 45 2.4.2 Mô đun hội tụ ...................................................................................................... 46 2.4.3 Mô đun hệ suy diễn mờ (FIS) .............................................................................. 46 2.4.4 Luật cơ sở............................................................................................................ 47 Chương 4 - THỰC NGHIỆM VÀ ĐÁNH GIÁ .................................................................... 49 4.1 Dữ liệu dùng trong thực nghiệm ................................................................................. 49 4.2 Thiết lập tham số cho thực nghiệm ............................................................................. 50 4.2.1 Các tham số của mạng nơron ............................................................................... 50 4.2.2 Các tham số của hệ hỗ trợ quyết định................................................................... 51 4.3 Kết quả mẫu ............................................................................................................... 54 4.3.1 Kết quả việc đánh giá và dự báo trong tương lai .................................................. 54 4.3.2 Kết quả việc hỗ trợ quyết định ............................................................................. 58 4.4 Đánh giá và phân tích ................................................................................................. 59 4.5 Kết luận...................................................................................................................... 63 KẾT LUẬN ......................................................................................................................... 64 TÀI LIỆU THAM KHẢO.................................................................................................... 65 PHỤ LỤC............................................................................................................................ 66 Phụ lục A – Giới thiệu về phần mềm FRPredictor ............................................................ 66 Phụ lục B – Cấu trúc các bảng cơ sở dữ liệu tài chính....................................................... 69 Phụ lục B – Dữ liệu dùng trong thực nghiệm.................................................................... 72 vi DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt BB Bollinger Band Dải bolinger CCI The Commodity Channel Index Chỉ số kênh giá hàng hoá CK Chứng khoán CNTT Công nghệ thông tin CP Cổ phiếu CSDL Database Cơ sở dữ liệu DN Doanh nghiệp MA Moving Average Đường trung bình động MACD MovingAverage Convergence/Divergence Phân kỳ và hội tụ của đường trung bình động MISO Multi Input Single Output Nhiều đầu vào – Một đầu ra MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp PTTK Phân tích kỹ thuật RSI Relative Strength Index Chỉ số cường độ tương đối TTCK Thị trường chứng khoán vi DANH MỤC HÌNH VẼ Hình 1-1 Biểu đồ dạng đường ............................................................................................. 12 Hình 1-2 Biểu đồ dạng then chắn ........................................................................................ 13 Hình 1-3 Biểu đồ dạng cây nến ........................................................................................... 13 Hình 2-1 Mô hình phân lớp tiêu chuẩn ................................................................................ 19 Hình 2-2 Mô hình một nơron perceptron ............................................................................. 24 Hình 2-3 Mô hình mạng perceptron 3 lớp(MLP) ................................................................. 26 Hình 2-4 Các dạng hàm thuộc ............................................................................................. 30 Hình 2-5 Giải mờ bằng phương pháp cực đại ...................................................................... 35 Hình 2-6 Giải mờ bằng phương pháp điểm trọng tâm.......................................................... 35 Hình 2-7 Hệ suy diễn mờ .................................................................................................... 36 Hình 3-1 Mô hình đề xuất ................................................................................................... 38 Hình 3-2 Mồ hình thực thể liên kết...................................................................................... 40 Hình 3-3 Hệ suy diễn mờ .................................................................................................... 45 Hình 3-4 Miền giá trị của đầu ra.......................................................................................... 47 Hình 4-1 Kết quả huấn luyện và kiểm tra ............................................................................ 55 Hình 4-2 Kết quả thực hiện phân tích .................................................................................. 57 Hình 4-3 Dự đoán Sp500..................................................................................................... 58 Hình 4-4 Hỗ trợ quyết định cho công ty IBM ...................................................................... 58 Hình 4-5 Tỷ lệ chính xác..................................................................................................... 61 Hình 4-6 Tỷ lệ chính xác theo quý ...................................................................................... 61 Hình 4-7 So sánh tỷ lệ chính xác ......................................................................................... 62 vi DANH MỤC BẢNG BIỂU Bảng 2-1 Ma trận hỗn hợp trong phân lớp ............................................................................ 20 Bảng 3-1 Miền giá trị của các tham số.................................................................................. 46 Bảng 4-1 Thiết lập tham số mạng......................................................................................... 51 Bảng 4-2 Các chỉ số kỹ thuật và luật mờ tương ứng ............................................................. 52 Bảng 4-3 Kết hợp Hạng, các chỉ số và luật mờ tương ứng .................................................... 53 Bảng 4-4 Mẫu dữ liệu huấn luyện ........................................................................................ 54 Bảng 4-5 Dữ liệu phân tích .................................................................................................. 56 Bảng 4-6 Kết quả phân tích và dự báo.................................................................................. 57 Bảng 4-7 Hỗ trợ quyết định cho các công ty......................................................................... 59 Bảng 4-8 Kết quả so sánh giữa quyết định từ MACD, mô hình và thực tế ............................ 60 Bảng 4-9 So sánh việc ba chỉ số với hệ thống....................................................................... 62 1 MỞ ĐẦU 1. Đặt vấn đề Thế giới ngày càng trở nên bất ổn hơn, những bất ổn trong giá cả hàng hoá và các biến số tài chính thay đổi theo những chiều hướng khó có thể dự báo trước được. Trước khi ban quản trị có thể đưa ra bất kỳ một quyết định nào về phòng ngừa rủi ro, trước tiên họ cần phải nhận diện được tất cả các rủi ro mà công ty có thể gặp phải. Hầu hết các tổ chức tài chính đều phải đối mặt với những rủi ro kinh doanh, là rủi ro thuộc về bản chất của các hoạt động kinh doanh. Trên thế giới đã có nhiều nghiên cứu về vấn đề này và đã có một số mô hình cũng như phần mềm hỗ trợ việc đánh giá, dự báo rủi ro tài chính. Tuy nhiên ở Việt nam, các tổ chức tài chính cũng như các công ty doanh nghiệp chưa chú ý nhiều tới rủi ro tài chính. Một số doanh nghiệp có thể tự đánh giá, dự báo rủi ro hoặc đi thuê chuyên gia cố vấn tài chính. Cách làm này tương đối thủ công và tốn kém về mặt nhân lực cũng như kinh phí. Trong các lĩnh vực nghiên cứu của khoa học máy tính thì khai phá dữ liệu là lĩnh vực đang phát triển mạnh mẽ và có nhiều ứng dụng thực tiễn. Khai phá dữ liệu kết hợp giữa học máy, công nghệ cơ sở dữ liệu và các chuyên ngành khác để tìm ra tri thức từ những cơ sở dữ liệu rất lớn. Từ những tri thức này, ta có thể sử dụng để xây dựng mô hình để đánh giá, dự báo. Mục tiêu của luận văn là tìm hiểu về rủi ro tài chính và xây dựng mô hình nhằm đánh giá, dự báo rủi ro tài chính. Tuy nhiên, vấn đề rủi ro tài chính là tương đối lớn và rộng nên phạm vi của luận văn chỉ dừng lại ở việc xây dựng mô hình đánh giá, dự báo rủi ro trong lĩnh vực đầu tư, kinh doanh chứng khoán. Luận văn tập trung vào việc tìm hiểu một số mô hình học máy tiên tiến và phân tích kỹ thuật trong lĩnh vực chứng khoán. Phân tích kỹ thuật là một khoa học rất mới, nó đang phát triển mạnh mẽ và có những kết quả khả quan. Trong luận văn, tôi đã thực hiện việc kết hợp phương pháp học máy sử dụng mạng nơron nhân tạo, phân tích kỹ thuật, hệ suy diễn mờ và ứng dụng xây dựng mô hình đánh giá, hỗ trợ quyết định mua hoặc bán một mã cổ phiếu cụ thể nào đó. Tôi đã hoàn thành phần mềm thử nghiệm và tiến hành thực nghiệm trên bộ dữ liệu thực tế thu thập từ các sàn giao dịch chứng khoán trong và ngoài nước. Trong luận văn này, tôi đã tìm hiểu, kết hợp và tìm cách ứng dụng phương pháp khai phá dữ liệu nhằm phân tích và đánh giá rủi ro trong lĩnh vực tài chính. Các kết quả thực nghiệm của phần mềm tuy chưa thực sự cao nhưng cũng đủ để cung cấp thông tin và định hướng ban đầu cho các nghiên cứu tiếp theo của chúng tôi. 2 2. Mục tiêu của nghiên cứu Nghiên cứu của luận văn hướng tới các mục tiêu sau: - Giúp đỡ ban quản trị doanh nghiệp đánh giá rủi ro trong lĩnh vực tài chính - Giúp người kinh doanh và đầu tư chứng khoán trong việc dự báo, đưa ra quyết định mua bán chứng khoán. 3. Cấu trúc của luận văn Luận văn được chia thành 6 phần với các nội dung như sau: Chương I trình bày các nội dung lý thuyết về lĩnh vực tài chính. Các khái niệm liên quan tới tài chính, rủi ro tài chính, chứng khoán, phân tích dự báo trong đầu tư chứng khoán đã được giới thiệu ngắn gọn nhằm mang lại những kiến thức căn bản trong lĩnh vực tài chính. Chương II giới thiệu về khai phá dữ liệu, sau đó chúng tôi giới thiệu chi tiết về vấn đề phân lớp, mạng nơron, logic mờ. Các kỹ thuật được trình bày trong chương này sẽ là cơ sở lý thuyết cho phương pháp giải quyết của chúng tôi ở các chương tiếp theo. Chương III tập trung vào xây dựng mô hình nhằm giải quyết bài toán đã đặt ra. Trong chương này chúng tôi đưa ra phương pháp sử dụng logic mờ, mạng nơ ron và phân tích kỹ thuật nhằm xây dựng hệ hỗ trợ ra quyết định cho bài toán dự báo dự đoán rủi ro tài chính. Chương IV mô tả và phân tích những kết quả mà chúng tôi đã tiến hành thực nghiệm. Mô hình được huấn luyện bởi dữ liệu giao dịch chứng khoán trong quá khứ, sau đó mô hình sẽ được sử dụng để dự đoán độ rủi ro của doanh nghiệp tương ứng nhằm kiểm chứng khả năng dự đoán của mô hình. Đồng thời các kết quả này cũng được so sánh với các mô hình khác nhằm tìm ra điểm mạnh, yếu của mô hình so với các mô hình đã được xây dựng. Phần kết luận tổng kết những kết quả đạt được của luận văn và hướng nghiên cứu tiếp theo. Phần phụ lục giới thiệu về phần mềm dự báo rủi ro và hỗ trợ quyết định, đồng thời hướng dẫn cách thức cơ bản sử dụng phần mềm. 3 Chương 1 - MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH Chương này cung cấp các kiến thức cơ sở về lĩnh vực tài chính. Đầu tiên sẽ là các khái niệm chính về tài chính, rủi ro tài chính, các phương pháp dự báo, đánh giá rủi ro. Mục tiếp theo sẽ giới thiệu về phân tích kỹ thuật trong việc đầu tư, kinh doanh chứng khoán. 1.1. Một số khái niệm