Đề tài Một số phương pháp khai phá dữ liệu quan hệ trong tài chính và chứng khoán

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Ngọc Thiệp MỘT SỐ PHƢƠNG PHÁP KHAI PHÁ DỮ LIỆU QUAN HỆ TRONG TÀI CHÍNH VÀ CHỨNG KHOÁN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2010 HÀ NỘI - 20 (chữ hoa, 12pt, đậm, căn giữa) ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Ngọc Thiệp MỘT SỐ PHƢƠNG PHÁP KHAI PHÁ DỮ LIỆU QUAN HỆ TRONG TÀI CHÍNH VÀ CHỨNG KHOÁN (MÔ HÌNH ARIMA ) KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hƣớng dẫn : PGS-TS. Hà Quang Thụy Cán bộ đồng hƣớng dẫn : ThS. Trần Thị Oanh HÀ NỘI - 2010 LỜI CẢM ƠN Lời đầu tiên, em xin bày tỏ long biết ơn tới các thầy, cô giáo trong trƣờng Đại học Công Nghệ - Đại học Quốc Gia Hà nội. Các thầy cô đã dạy bảo, chỉ dẫn em và luôn tạo điều kiện tốt nhất cho chúng em học tập trong suốt quá trình học đại học đặc biệt là trong thời gian làm khóa luận tốt nghiệp. Em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo PGS.TS Hà Quang Thụy cùng cô giáo ThS Trần Thị Oanh, và các anh chị trong phòng LAB 102 đã hƣớng dẫn em tận tình trong năm học vừa qua. Tôi cũng xin cảm ơn những ngƣời bạn của mình, các bạn đã luôn bên tôi, giúp đỡ và cho tôi những ý kiến đóng góp quý báu trong học tập cũng nhƣ trong cuộc sống. Cuối cùng con xin gửi tới bố mẹ và toàn thể gia đình lòng biết ơn và tình cảm yêu thƣơng nhất. Hà Nội, ngày 10/05/2010 Nguyễn Ngọc Thiệp TÓM TẮT NỘI DUNG Bài toán dự báo tài chính ngày càng đƣợc nhiều ngƣời quan tâm trong bối cảnh phát triển kinh tế xã hội. Đầu tƣ vào thị trƣờng chứng khoán đòi hỏi nhiều kinh nghiệm và hiểu biết của các nhà đầu tƣ. Các kĩ thuật khai phá dữ liệu đƣợc áp dụng nhằm dự báo sự lên xuống của thị trƣờng là một gợi ý giúp các nhà đầu tƣ có thể ra quyết định giao dịch. Mô hình ARIMA đƣợc xây dựng với chức năng nhận dạng mô hình, ƣớc lƣợng các tham số và đƣa ra kết quả dự báo dựa trên các tham số ƣớc lƣợng đã đƣợc lựa chọn một cách tối ƣu. Khóa luận nghiên cứu mô hình ARIMA vào bài toán khai phá dữ liệu chuỗi thời gian trong dự báo tài chính, chứng khoán. Hệ thống công cụ Eviews đã đƣợc sử dụng để thi hành mô hình ARIMA đối với dữ liệu chứng khoán của công ty cổ phần Thủy sản Mekong. Khóa luận đã tiến hành thử nghiệm, kết quả thực nghiệm cho thấy việc nghiên cứu, áp dụng là có cơ sở. MỤC LỤC Chƣơng 1. GIỚI THIỆU CHUNG 1 1.1. Bài toán dự báo 1 1.2. Dữ liệu chuỗi thời gian 3 1.2.1. Khái niệm chuối thời gian thực ......................................................... 4 1.2.2. Thành phần xu hƣớng dài hạn ........................................................... 4 1.2.3. Thành phần mùa ................................................................................ 5 1.2.4. Thành phần chu kỳ ............................................................................ 6 1.2.5. Thành phần bất thƣờng...................................................................... 6 Tóm tắt chƣơng 1 6 CHƢƠNG 2. MÔ HÌNH ARIMA VÀ PHẦN MỀM EVIEWS ................................... 7 2.1. Mô hình ARIMA 7 2.1.1. Hàm tự tƣơng quan ACF ................................................................... 7 2.1.2. Hàm tự tƣơng quan từng phần PACF ................................................ 9 2.1.3. Mô hình AR(p)................................................................................ 11 2.1.4. Mô hình MA(q) ............................................................................... 11 2.1.5. Sai phân I(d), mùa vụ (S) ................................................................ 12 2.1.6. Mô hình ARIMA............................................................................. 13 2.1.7. Các bƣớc phát triển mô hình ARIMA ............................................ 16 2.2. Phần mềm ứng dụng Eviews 17 2.2.1. Giới thiệu Eviews............................................................................. 17 2.2.2. Áp dụng Eviews thi hành các bƣớc mô hình ARIMA ....................... 23 Tóm tắt chƣơng 2 26 Chƣơng 3. ÁP DỤNG MÔ HÌNH ARIMA VÀO BÀI TOÁN TÀI CHÍNH, CHỨNG KHOÁN .......................................................................................................... 27 3.1. Mô hình ARIMA cho dự báo tài chính, chứng khoán 27 3.1.1. Dữ liệu tài chính.............................................................................. 27 3.1.2. Mô hình ARIMA cho bài toán dự báo tài chính .............................. 27 3.1.3. Thiết kế mô hình ARIMA cho dữ liệu ............................................ 28 3.2. Áp dụng dự báo chứng khoán với dữ liệu Công ty cổ phần Thủy sản Mekong(Mã CK : AAM) 31 3.2.1. Môi trƣờng thực nghiêm .................................................................. 31 3.2.2. Dữ liệu ........................................................................................... 31 3.2.3. Kiểm tra tính dừng của chuỗi chứng khoán AAM .......................... 32 3.2.4. Nhận dạng mô hình ........................................................................ 33 3.2.5. Ƣớc lƣợng và kiểm định với mô hình ARIMA ............................... 34 3.2.6. Thực hiện dự báo ........................................................................... 36 KẾT LUẬN .............................................................................................................. 43 DANH MỤC HÌNH VẼ Hình 1.Chuỗi thời gian là kiểu dữ liệu đƣợc phân tích phổ biến ................................... 3 Hình 3. Thành phần mùa [1] ........................................................................................ 5 Hình 2. Xu hƣớng tăng theo thời gian [12] ................................................................... 5 Hình 4. Thành phần chu kỳ [1] .................................................................................... 6 Hình 5. Ví dụ về chiều hƣớng giảm đều khác nhau [3] ................................................. 8 Hình 6. Sơ đồ mô phỏng mô hình Box-Jenkins [3,5] .................................................. 15 Hình 7. Giao diện sử dụng (Eviews 5 Users Guide) ................................................... 18 Hình 8. Lựa chọn cấu trúc cơ bản của quá trình tạo Workfile .................................... 19 Hình 9. Mở một file có sẵn với Eviews 5 ................................................................... 19 Hình 10. Miêu tả chuỗi dữ liệu .................................................................................. 20 Hình 11. Đồ thị của chuỗi GIADONGCUA ............................................................... 21 Hình 12. Biểu đồ hàm tự tƣơng quan, tự tƣơng quan từng phần ................................ 22 Hình 13. Cửa sổ chƣơng trình/Run............................................................................. 23 Hình 14. Ƣớc lƣợng mô hình. ................................................................................... 24 Hình 15. Kết quả quá trình ƣớc lƣợng ........................................................................ 24 Hình 16. Chọn các yêu cầu thích hợp cho dự báo ...................................................... 25 Hình 17. Chọn GIADONGCUA làm mục tiêu dự báo ............................................... 32 Hình 18. Biểu đồ giá đóng cửa ................................................................................... 32 Hình 19. xác định sai phân d = 0,1,2 ? ....................................................................... 33 Hình 20. Biểu đồ của SAC và SPAC của chuỗi GIADONGCUA ............................. 33 Hình 21. Biểu đồ của SPAC và SAC ứng với d=1..................................................... 34 Hình 22. Ƣớc lƣợng mô hình ARIMA(1,1,1) ............................................................. 34 Hình 23. Kết quả mô hình ARIMA(1,1,1) .................................................................. 35 Hình 24. Kiểm tra phần dƣ có nhiễu trắng.................................................................. 35 Hình 25. Tham số chạy chƣơng trình ......................................................................... 36 Hình 26. Tập các mô hình đƣa ra. .............................................................................. 38 Hình 27. Dự báo biến GIADONGCUA ..................................................................... 39 Hình 28. Dữ liệu của biến dự báo ............................................................................... 39 Hình 29. Kết quả của bảng thống kê dự báo. .............................................................. 40 DANH MỤC BẢNG BIỂU Bảng 1. Dữ liệu đầu vào ............................................................................................ 31 Bảng 2 : Tiêu chuẩn đánh giá các mô hình ARIMA ................................................... 36 Bảng 3. Đánh giá dự báo ............................................................................................ 40 Bảng 4 : Kết quả dự báo từ ngày 11/05 – 14/05/2010 ................................................. 41 Bảng 5 : Kết quả dự báo từ ngày 24/03– 26/03/2010 .................................................. 41 1 CHƢƠNG 1. GIỚI THIỆU CHUNG 1.1. Bài toán dự báo Sự phát triển của công nghệ thông tin và việc ứng dụng công nghệ thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội trong nhiều năm qua cũng đồng nghĩa với lƣợng dữ liệu đã đƣợc các cơ quan thu thập và lƣu trữ ngày một tích lũy nhiều lên. Họ lƣu trữ các dữ liệu này vì cho rằng trong nó ẩn chứa những giá trị nhất định nào đó. Tuy nhiên, theo thống kê thì chỉ có một lƣợng nhỏ của những dữ liệu này (khoảng từ 5% đến 10% ) là luôn đƣợc phân tích, số còn lại họ không biết sẽ phải làm gì hoặc có thể làm gì với chúng nhƣng họ vẫn tiếp tục thu thập rất tốn kém với ý nghĩ lo sợ rằng sẽ có cái gì đó quan trọng đã bị bỏ qua sau này có lúc cần đến nó. Mặt khác, trong môi trƣờng cạnh tranh, ngƣời ta ngày càng cần có nhiều thông tin với tốc độ nhanh để trợ giúp việc ra quyết định và ngày càng có nhiều câu hỏi mang tính chất định tính cần phải trả lời dựa trên một khối lƣợng dữ liệu khổng lồ đã có. Với những lý do nhƣ vậy, các phƣơng pháp quản trị và khai thác cơ sở dữ liệu truyền thống ngày càng không đáp ứng đƣợc thực tế đã làm phát triển một khuynh hƣớng kỹ thuật mới đó là kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD – Knowledge Discovery and Data Mining). Kỹ thuật phát hiện tri thức và khai phá dữ liệu đã và đang đƣợc nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau ở các nƣớc trên thế giới, tại Việt Nam kỹ thuật này tƣơng đối còn mới mẻ tuy nhiên cũng đang đƣợc nghiên cứu và dần đƣa vào ứng dụng. Nhƣ trình bày trong [2, 3], kỹ thuật dự báo đã hình thành từ thế kỉ thứ 19, tuy nhiên dự báo có ảnh hƣởng mạnh mẽ khi công nghệ thông tin phát triển vì bản chất mô phỏng của các phƣơng pháp dự báo rất cần thiết sự hỗ trợ của máy tính. Đến năm những 1950, các lý thuyết về dự báo cùng với các phƣơng pháp luận đƣợc xây dựng và phát triển có hệ thống. Dự báo là một nhu cầu không thể thiếu cho những hoạt động của con ngƣời trong bối cảnh bùng nổ thông tin. Dự báo sẽ cung cấp những cơ sở cần thiết cho các hoạch định, và có thể nói rằng nếu không có khoa học dự báo thì những dự định tƣơng lai của con ngƣời vạch ra sẽ không có sự thuyết phục đáng kể. Trong công tác phân tích dự báo, vấn đề quan trọng hàng đầu cần đặt ra là việc nắm bắt tối đa thông tin về lĩnh vực dự báo. Thông tin ở đây có thể hiểu một cách cụ thể gồm : (1) các số liệu quá khứ của lĩnh vực dự báo, (2) diễn biến tình hình hiện trạng cũng nhƣ động thái phát triển của lĩnh vực dự báo và (3) đánh giá một cách đầy đủ nhất các nhân tố ảnh hƣởng cả về định lƣợng lẫn định tính. 2 Căn cứ vào nội dung phƣơng pháp và mục đích của dự báo, ngƣời ta chia dự báo thành hai loại: Phƣơng pháp định tính và phƣơng pháp định lƣợng.  Phƣơng pháp định tính thƣờng phụ thuộc rất nhiều vào kinh nghiệm của một hay nhiều chuyên gia trong lĩnh vực liên quan. Phƣơng pháp này thƣờng đƣợc áp dụng, kết quả dự báo sẽ đƣợc các chuyên gia trong lĩnh vực liên quan nhận xét, đánh giá và đƣa ra kết luận cuối.  Phƣơng pháp định lƣợng sử dụng những dữ liệu quá khứ theo thời gian, dựa trên dữ liệu lịch sử để phát hiện chiều hƣớng vận động của đối tƣợng phù hợp với một mô hình toán học nào đó và đồng thời sử dụng mô hình đó làm mô hình ƣớc lƣợng. Tiếp cận định lƣợng dựa trên giả định rằng giá trị tƣơng lai của biến số dự báo sẽ phụ thuộc vào xu thế vận động của đối tƣợng đó trong quá khứ. Phƣơng pháp dự báo theo chuỗi thời gian là một phƣơng pháp định lƣợng.  Phƣơng pháp chuỗi thời gian sẽ dựa trên việc phân tích chuỗi quan sát của một biến duy nhất theo biến số độc lập là thời gian. Giả định chủ yếu là biến số dự báo sẽ giữ nguyên chiều hƣớng phát triển đã xảy ra trong quá khứ và hiện tại. Căn cứ theo thời gian dự báo, ngƣời ta chia dự báo làm 3 loại:  Dự báo ngắn hạn : Thời gian dự báo ít hơn 3 tháng ( Mô hình ARIMA khá phù hợp với loại dự báo ngắn hạn).  Dự báo trung hạn : Thời gian dự báo từ 3 tháng đến 3 năm  Dự báo dài hạn : Thời gian dự báo lớn hơn 3 năm. Khóa luận tập trung nghiên cứu mô hình ARIMA để thực hiện phân tích dữ liệu chứng khoán hƣớng tới việc dự báo chứng khoán. Mô hình ARIMA (AutoRegressive Integrate Moving Average) do Box-Jenkins đề nghị năm 1976 [5, 11, 13], dựa trên mô hình tự hồi quy AR và mô hình trung bình động MA. ARIMA là mô hình dự báo định lƣợng theo thời gian, giá trị tƣơng lai của biến số dự báo sẽ phụ thuộc vào xu thế vận động của đối tƣợng đó trong quá khứ. Mô hình ARIMA phân tích tính tƣơng quan giữa các dữ liệu quan sát để đƣa ra mô hình dự báo thông qua các giai đoạn nhận dạng mô hình, ƣớc lƣợng các tham số từ dữ liệu quan sát và kiểm tra các tham số ƣớc lƣợng để tìm ra mô hình thích hợp. Mô hình kết quả của quá trình trên gồm các tham số thể hiện mức độ tƣơng quan trên dữ liệu, và đƣợc chọn để dự báo giá trị tƣơng lai. 3 1.2. Dữ liệu chuỗi thời gian Trong các bài toán dự báo nói chung và các bài toán dự báo tài chính và chứng khoán nói riêng, dữ liệu thƣờng đƣợc biểu diễn dƣới dạng chuỗi thời gian. Trong các dạng dữ liệu đƣợc phân tích thì dữ liệu chuỗi thời gian luôn thuộc tốp đầu về tính phổ biến. Các bảng thống kê thăm dò về các kiểu dữ liệu đƣợc phân tích trong 4 năm 2005- 2008 1 (Hình 1) là một minh chứng về điều này. types-analyzed-data-mined.htm s_analyzed.htm data_analyzed_mined.htm s.htm Hình 1.Chuỗi thời gian là kiểu dữ liệu đƣợc phân tích phổ biến 1 4 1.2.1. Khái niệm chuỗi thời gian thực Theo [12, 15], dữ liệu thời gian thực hay chuỗi thời gian là một chuỗi các giá trị của một đại lƣợng nào đó đƣợc ghi nhận là thời gian. Ví dụ :  Chỉ số chứng khoán giá mở cửa của công ty X trên thị trƣờng chứng khoán hàng ngày.  Các giá trị của chuỗi thời gian của đại lƣợng X đƣợc kí hiệu là X1, X2, X3,…, Xt,… , Xn với X là giá trị của X tại thời điểm t. 1.2.2. Chuỗi thời gian dừng Chuỗi thời gian đƣợc coi là dừng nếu nhƣ trung bình và phƣơng sai của nó không đổi theo thời gian và giá trị của đồng phƣơng sai giữa hai thời đoạn chỉ phụ thuộc vào khoảng cách và độ trễ về thời gian giữa hai thời đoạn này chứ không phụ thuộc vào thời điểm thực tế mà đồng phƣơng sai đƣợc tính. Trung bình : E(Yt) = 𝝁 Phƣơng sai : Var(Yt) = E(Yt - 𝝁) 2 = 𝜹2 Đồng phƣơng sai : 𝛾k = E[(Yt- 𝝁)( Yt+k- 𝝁)] Giả sử dịch chuyển chuỗi Y ban đầu từ Yt đên Yt+m và nếu Yt là dừng, thì trung bình, phƣơng sai và các tự đồng phƣơng sai của Yt+m phải đúng bằng trung bình, phƣơng sai và các tự đồng phƣơng sai của Yt. Tóm lại, nếu một chuỗi thời gian là dừng thì trung bình, phƣơng sai và tự đồng phƣơng sai (tại các độ trễ khác nhau) sẽ giữ nguyên không đổi dù cho chúng đƣợc xác định vào thời điểm nào. 1.2.3. Các thành phần của dữ liệu chuỗi thời gian thực Các nhà thống kê thƣờng chia chuỗi theo thời gian thành 4 thành phần:  Thành phần xu hƣớng dài hạn (long –term trend component)  Thành phần mùa (seasional component)  Thành phần chu kỳ (cyclical component)  Thành phần bất thƣờng (irregular component) Thành phần xu hƣớng dài hạn Thành phần này dùng để chỉ xu hƣớng tăng hay giảm của đại lƣợng X trong thời gian dài. Về mặt đồ thị thành phần này có thể biểu diễn bởi một đƣờng thẳng hay một đƣờng cong trơn. 5 Thành phần mùa Thành phần này dùng để chỉ xu hƣớng tăng hay giảm của đại lƣợng X tính theo mùa trong năm (có thể tính theo tháng trong năm) Ví dụ :  Giá bán hàng của công ty máy tính sẽ tăng vào mùa khai giảng năm học mới.  Lƣợng tiêu thụ bia sẽ tăng mạnh vào mùa hè, giảm vào mùa đông Hình 3. Thành phần mùa [1] Hình 2. Xu hƣớng tăng theo thời gian [12] Thay đổi theo mùa Xu hƣớng tăng theo thời gian 6 Thành phần chu kỳ Thành phần này chỉ sự thay đổi của đại lƣợng X theo chu kỳ. Thành phần này khác thành phần mùa ở chỗ chu kỳ của đại lƣợng X kéo dài hơn 1 năm. Để đánh giá thành phần này các giá trị của chuỗi thời gian đƣợc quan sát hàng năm. Ví dụ, Lƣợng dòng chảy đến hồ Trị An từ năm 1959 – 1985 Hình 4. Thành phần chu kỳ [1] Thành phần bất thƣờng Thành phần này dùng để chỉ sự thay đổi bất thƣờng của các giá trị trong chuỗi thời gian. Sự thay đổi này không thể dự đoán bằng các số liệu kinh nghiệm trong quá khứ, về mặt bản chất thành phần này không có tính chu kỳ. Tóm tắt chƣơng 1 Chƣơng này giới thiệu qua về bài toán dự báo, cho thấy sự cần thiết của việc phát triển các mô hình dự báo cùng các khái niệm cơ bản về chuỗi thời gian, chuỗi thời gian dừng (ổn định) các thành phần trong chuỗi thời gian: (1) thành phần xu hƣớng dài hạn, (2) thành phần mùa, (3) thành phần chu kỳ, (4) thành phần bất thƣờng. 1959 1985 1960 Q(m3/s) t (năm) 7 CHƢƠNG 2. MÔ HÌNH ARIMA VÀ PHẦN MỀM EVIEWS 2.1. Mô hình ARIMA 2.1.1. Hàm tự tƣơng quan ACF Hàm tự tƣơng quan đo lƣờng phụ thuộc tuyến tính giữa các cặp quan sát y(t) và y(t+k), ứng với thời đoạn k = 1, 2, …(k còn gọi là độ trễ). Với mỗi độ trễ k, hàm tự tƣơng quan tại độ trễ k đƣợc xác định qua độ lệch giữa các biến ngẫu nhiên Yt. Yt+k so với các giá trị trung bình, và đƣợc chuẩn hóa qua phƣơng sai. Dƣới đây, giả thiết rằng các biến ngẫu nhiên trong chuỗi dừng thay đổi quanh giá trị trung bình 𝜇 với phƣơng sai hằng số 𝛿2. Hàm tự tƣơng quan tại các độ trễ khác nhau sẽ có giá trị khác nhau. Trong thực tế, ta có thể ƣớc lƣợng hàm tự tƣơng quan tại độ trễ thứ k qua phép biến đổi trung bình của tất cả các cặp quan sát, phân biệt bằng các độ trễ k, với giá trị trung bình mẫu là 𝜇, đƣợc chuẩn hóa bởi phƣơng sai 𝜎2.Chẳng hạn, cho mỗi chuỗi N điểm, giá trị rk của hàm tự tƣơng quan tại độ trễ thứ k đƣợc tính nhƣ sau : rk = 𝟏 𝑵 𝒚𝒕 − 𝝁 𝒚𝒕 + 𝒌 − 𝝁 𝑵 − 𝒌 𝒕 = 𝟏 𝜹𝟐 (2.1) với 𝝁 = 𝟏 𝑵 (𝒚𝒕) 𝑵 𝒕=𝟏 𝜹 𝟐 = 𝟏 𝑵 (𝒚𝒕 − 𝝁) 𝟐𝑵 𝒕=𝟏 (2.2) yt : chuỗi thời gian dừng tại thời điểm t yt+k : chuỗi thời gian dừng tại thời điểm t +k 𝜇 : giá trị trung bình của chuỗi dừng rk : giá trị tƣơng quan giữa yt và yt+k tại độ trễ k rk = 0 thì không có hiện tƣợng tự tƣơng quan Về mặt lý thuyết, chuỗi dừng khi tất cả các rk = 0 hay chỉ vài rk khác không. Do chúng ta xem xét hàm tự tƣơng quan mẫu, do đó sai số mẫu sẽ xuất hiện vì vậy, hiện tƣợng tự tƣơng quan khi rk = 0 theo ý nghĩa thống kê. Khi hàm tự tƣơng quan ACF giảm đột ngột, có nghĩa rk rất lớn ở độ trễ 1, 2 và có ý nghĩa thống kê (|t| >2). Những rk này đƣợc xem là những ―đỉnh‖ và ta nói rằng hàm 8 tự tƣơng quan ACF giảm đột ngột sau độ trễ k nếu không có những ―đỉnh‖ ở độ trễ k lớn hơn k. Hầu hết hàm tự tƣơng quan ACF sẽ giảm đột ngột sau độ trễ 1, 2. Nếu hàm tự tƣơng quan ACF của chuỗi thời gian không dừng không giảm đột ngột mà trái lại giảm nhanh nhƣng đều : không có đỉnh, ta gọi chiều hƣớng này là ―tắt