Chương 4 Phân tích tương quan

97 Chương 4 Phân tích tương quan 4.1. Khái niệm Các hiện tượng thuỷ văn chịu sự tác động của nhiều nhân tố, trong thực tế không thể xem xét đầy đủ. Nhiều trường hợp cũng không cần xem xét tất cả mà chỉ xét những nhân tố chính ảnh hưởng đến hiện tượng cần phân tích. Quan hệ giữa hiện tượng thuỷ văn với các nhân tố ảnh hưởng chỉ đưa ra được dạng chung nhất, mang tính tất định, còn sự phân tán do tác động của các nhân tố chưa được xét đến, mang tính ngẫu nhiên. Tuy nhiên khái niệm chung hơn là quan hệ ngẫu nhiên, tương ứng với tập hợp thống kê đầy đủ khi dung lượng tiến tới vô cùng. Mối quan hệ ngẫu nhiên được mô tả đầy đủ nhất bằng hàm mật độ nhiều chiều, giữa hai biến là hàm mật độ 2 chiều. Nhưng như vậy lại cần lượng thông tin rất lớn, nhiều khi không thực hiện được. Trong thực tế chúng ta chỉ có một số mẫu hữu hạn các số liệu, do đó mối quan hệ này chỉ là quan hệ thống kê. Ví dụ quan hệ giữa mưa-dòng chảy, giữa mực nước tuyến trên và tuyến dưới. Khả năng ứng dụng các mối quan hệ này dựa vào lý thuyết ước lượng thông số và đánh giá dao động ngẫu nhiên của chúng. Mối quan hệ giữa các biến lượng biểu hiện trong 3 dạng sau: 1). Quan hệ hàm số (hình 4.1). Một giá trị của biến lượng này sẽ xác định giá trị tương ứng của biến lượng kia. Đó là đối tượng nghiên cứu của toán học. Hình 4.1: Quan hệ hàm số giữa các đại lượng 2). Quan hệ độc lập hay không quan hệ (hình 4.2), biểu hiện sự tản mạn rời rạc, sự thay đổi của biến lượng này không ảnh hưởng đến biến lượng kia. 3). Quan hệ tương quan (hình 4.3). Với mỗi giá trị của biến lượng x thì biến số y là không xác định vì y không chỉ phụ thuộc x mà còn bị chi phối của nhiều biến lượng khác. Tuy nhiên qua nhiều quan trắc có thể tìm thấy giữa chúng tồn tại một quan hệ nhất định, có tính trung bình, đó chính là quan hệ tương quan. 98 Hình 4.2: Quan hệ độc lập giữa các đại lượng Hình 4.3: Quan hệ tương quan giữa các đại lượng Thực tế trong thuỷ văn thường sử dụng mối quan hệ tương quan, đó là quan hệ giữa giá trị của đại lượng x (đối số) với trung bình có điều kiện của đại lượng y (hàm số), ký hiệu là yx. Phân tích tương quan nhằm nghiên cứu quy luật trung bình về tính chất của đại lượng này tuỳ thuộc vào đại lượng kia và số đo sự phụ thuộc đó. Thông qua phân tích tương quan có thể đánh giá vai trò của các nhân tố ảnh hưởng, xác định xem chúng cần xem xét hay có thể bỏ qua. Trên cơ sở đánh giá mức độ tương quan giữa các biến lượng mà ta có thể bổ sung kéo dài tài liệu cho các khu vực thiếu số liệu quan trắc dựa vào các nhân tố ảnh hưởng. Mối quan hệ tương quan được biểu diễn bằng các phương trình tương quan hoặc hồi quy, nó có thể là tuyến tính hoặc phi tuyến. Để thuận lợi trong nhiều trường hợp có thể biến đổi biến số để đưa về dạng tuyến tính. Khi đó dạng phân bố gốc được chuyển về dạng chuẩn. Tương quan có thể chia thành tương quan đơn và tương quan bội. Tương quan đơn là tương quan giữa 2 biến. Tương quan bội là tương quan của nhiều biến. 4.2. Tương quan tuyến tính 2 biến 4.2.1. Khái niệm Đây là mối tương quan thường hay sử dụng khi một nhân tố có vai trò quyết định đối với hiện tượng cần nghiên cứu. Khi chấm các điểm quan hệ lên đồ thị, ta thấy hình thành các nhóm điểm có xu thế đường thẳng như hình (4.3a). Tương quan tuyến tính có thể biểu thị bằng đường hồi quy (phương pháp giải tích) hay đường tương quan (phương pháp đồ giải). 4.2.2. Đường hồi quy 99 Đường thể hiện tốt nhất, phù hợp nhất với sự phân bố nhóm điểm gọi là đường hồi quy (mỗi giá trị của đại lượng này tương ứng với giá trị trung bình của các giá trị của đại lượng kia). Nói cách khác ứng với mỗi giá trị biến lượng x ta có một tập hợp các giá trị của biến lượng y, và các giá trị này tuân theo một hàm phân bố nào đó (thường cho là có phân bố chuẩn). Đường hồi quy sẽ đi qua giá trị trung bình hay kỳ vọng của phân bố này, chúng ta gọi đó là trung bình có điều kiện. Nếu đường hồi quy có dạng đường thẳng thì hồi quy là tuyến tính. Đường hồi quy mà y là hàm số (biến phụ thuộc) còn x là đối số (biến độc lập) gọi là hồi quy y theo x và ký hiệu là y = f1(x), còn ngược lại là đường hồi quy của x theo y, tức là x = f2(y). Nói chung 2 đường này không trùng nhau (hình 4.4). 50 70 90 110 130 150 170 190 210 50 70 90 110 130 150 x y Hình 4.4: Đường hồi quy tuyến tính a.Phương trình đường thẳng hồi quy Phương trình chung của đường thẳng hồi quy thường có dạng như hình 4.5: y = ax+b, (4.1) trong đó: a là hệ số góc của đường hồi quy, a=tg, với  là góc nghiêng của đường hồi quy với trụ x; b là hệ số tự do, là giá trị điểm cắt của đường hồi quy với trục y. 50 70 90 110 130 150 170 190 210 50 70 90 110 130 150 x y Hình 4.5. Đường hồi quy tuyến tính giữa 2 biến (Qnam KonTum-Trung Nghĩa) Như chỉ ra trên hình 4.5, giữa điểm thực đo với điểm lấy trên đường hồi quy có một khoảng chênh lệch: Y=f(X) X=f(Y) 100 )(' baxyyyy iiiii  , (4.2) trong đó: 'iy là giá trị tính theo đường hồi quy; yi là giá trị thực đo. Đường thẳng được coi là phù hợp nhất khi tổng bình phương độ lệch giữa thực đo và tính toán theo đường hồi quy là nhỏ nhất.    n n iiii baxyyyS 1 2 1 2 min])([)( ' , (4.3) Phương pháp để xác định 2 thông số a và b theo nguyên tắc trên gọi là phương pháp bình phương tối thiểu (hay bình phương nhỏ nhất). Đây cũng là phương pháp thường dùng cho các quan hệ tương quan. b. Xác định các thông số của đường hồi quy Muốn có S nhỏ nhất thì phải có đạo hàm S theo từng thông số bằng 0, tức là: - Đạo hàm theo a   02 1 2 11 2              )()( )()( ' i n i ii n i ii n i ii xbaxy a baxy a yy a S (4.4) Từ đó được:        n i n i n i iiii xbxayx 1 1 1 2 0 (4.5) - Đạo hàm theo b      n i ii baxy b S 1 020 )( (4.6) Từ đó có:      n i n i ii nbxay 1 1 0 (4.7) Đặt:    n i ix n x 1 1 và    n i iy n y 1 1 (4.8) Giải phương trình (4.5) và (4.7) đối với a và b nhận được:       22 1 xnx yxnyx a i n i ii )( (4.9)          n i i n i n i iii xnx yxxxy xayb 1 22 1 1 2 (4.10) Thay a, b vào phương trình (4.1) ta được: 101 )( )( ))(( xx xx yyxx yy n i i n i       2 (4.11) Ví dụ 4.1: Cho số liệu mưa năm 2 trạm Đồng Hới và Tám Lu (Quảng Bình) từ 1989-1998. Tính các hệ số và viết phương trình hồi quy. Chấm các điểm quan hệ tương ứng giữa 2 trạm ta được hình 4.6 Hình 4.6: Tương quan mưa năm Đồng Hới-Tám Lu Ta lập bảng tính như bảng 4.1 Bảng 4.1: Tính các hệ số hồi quy mưa năm 2 trạm Đồng Hới và Tám Lu TT Năm xi yi xi 2 xi.yi 1 1989 2636,1 2776,6 7709508 7319395 2 1990 2451,9 2917,1 8509472 7152437 3 1991 2731,5 2535,0 6426225 6924353 ..... .......... ................... .................... ........................ ...................... 8 1996 2358,0 3026,7 9160913 7136959 9 1997 1721,7 1973,1 3893124 3397086 10 1998 1905,7 2559,2 6549505 4877067 Tổng 22144,3 25085,7 50932712,60 58076704,67 Trung bình x = 2214,4 y = 2508,6 5093271,26 5807670,47 Từ bảng 3.1 nhận được: x = 2214,4; y = 2508,6; Theo (4.9) ta có:       22 1 xnx yxnyx a i n i ii )( 24221410650932712 6250842214106758076704 ,.. ,.,.,    =1,33. Theo (4.10) nhận được:  xayb 2508,6-1,33.2214,4=-436,6. 1000 1500 2000 2500 3000 3500 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 x(mm) y(mm) 102 Vậy phương trình hồi quy là: y=1,33.x-436,6. c. Hệ số tương quan Đường hồi quy có thể biểu thị quan hệ tương quan giữa 2 biến nhưng không thể đánh giá mức độ chặt chẽ của quan hệ tương quan. Để biểu thị mức độ chặt chẽ của quan hệ này ta dùng hệ số tương quan r: 1aar  , (4.12) trong đó: a là hệ số hồi quy của y theo x; a1 là hệ số hồi quy của x theo y. Điều đó có nghĩa là hệ số tương quan là trung bình nhân của 2 hệ số hồi quy của y theo x và x theo y. Góc  hợp giữa 2 đường hồi quy này càng nhỏ thì tương quan càng chặt chẽ, khi  giảm tới 0 thì ta có quan hệ hàm số. Khi r >0, ta có tương quan dương, tức là quan hệ có xu thế đồng biến. Đường thẳng hồi quy đi qua tâm phân bố ),( yxM tạo thành một góc nhọn so với trục x. Đại lượng y tăng theo sự tăng của đại lượng x. Khi r <0, ta có tương quan âm, tức là quan hệ có xu thế nghịch biến. Đường thẳng hồi quy đi qua tâm phân bố ),( yxM tạo thành một góc tù so với trục x. Đại lượng y giảm khi đại lượng x tăng. Khi r = 0, không có tương quan., hai biến lượng x và y là độc lập. Khi r = 1, ta có quan hệ hàm số, 2 đường hồi quy trùng vào làm một. Vì vậy r ≤ 1 và càng gần 1 chứng tỏ quan hệ càng chặt chẽ. Thay các giá trị a và a1 vào biểu thức (4.12) thu được:          n i n i ii n i ii yyxx yyxx r 1 1 22 1 )()( ))(( (4.13) Ví dụ 4.2: Từ số liệu cho trong bảng (4.1). Tính hệ số tương quan. Ta lập bảng tính tiếp theo của ví dụ (4.1)(bảng 4.2). Bảng 4.2: Tính các hệ số tương quan mưa năm 2 trạm Đồng Hới và Tám Lu TT xi- x yi- y 2)( xx  2)( yy  (yi- y )( xi- x ) 1 421,7 268,0 177830,89 71824,0 113015,6 2 231,5 408,5 56406,25 166872,25 97018,75 3 517,1 26,4 267392,41 696,96 13651,44 ..... ............... ................... ..................... .................... ...................... 8 143,6 518,1 20620,96 268427,61 74399,16 9 -492,7 -535,5 242753,29 286760,25 263840,85 10 -308,7 50,6 95295,69 2560,36 -15620,22 Tổng 1895710,35 4687947,25 2526178,01 x = 2214,4 y = 2508,6 x =458,9 y =721,7 103 áp dụng công thức (4.13) tính được hệ số tương quan:          n i n i ii n i ii yyxx yyxx r 1 1 22 1 )()( ))(( 351895710254687947 012526178 ,., ,  =0,847. d. Hệ số hồi quy Từ đó hệ số hồi quy có thể tính theo công thức: x y ra    , (4.14) y xra   1 , (4.15) trong đó: x , y là khoảng lệch chuẩn của các biến lượng x và y. Như vậy, phương trình hồi quy của y theo x là: )()( xxrxxayy x y    (4.16) và của x theo y là: )()( yyryyaxx y x    1 (4.17) Hai phương trình trên sẽ cho 2 giá trị khác nhau, nên khi sử dụng để kéo dài số liệu cần lưu ý đâu là biến số, đâu là hàm số. Sự khác nhau giữa 2 phương trình này là đặc tính vốn có của các liên hệ thống kê, không liên quan đến độ dài hữu hạn của chuỗi quan trắc. Trong thống kê thuỷ văn còn biểu thị hệ số tương quan r dưới dạng: yx yx r  ),cov(  , (4.18) trong đó: cov(x,y) là covarian (mômen tương quan hay hiệp phương sai) của x và y. n yyxx yx ii   ))(( ),cov( (4.19) Khi n không lớn (n <30) có xét đến thông số thống kê mẫu thì (4.19) trở thành: 1    n yyxx yx ii ))(( ),cov( (4.19’) Để đơn giản hoá việc tính toán, cũng có thể tính các hệ số hồi quy và tương quan theo dạng sau: 22 )( . xx yxxy a    , (4.20) 22 1 )( . yy yxxy a    , (4.21) yx yxxy r  .  (4.22) 104 Lưu ý rằng: r = 0 chỉ biểu thị không có tương quan tuyến tính, nhưng có thể có tương quan phi tuyến, thậm chí là hàm không tuyến tính. Trong thực tế thường coi là tương quan chặt và sử dụng để tính toán nếu r ≥0,8. Tuy nhiên khi r 0,80 cũng có thể coi là quan hệ chặt nếu nó có thể giải thích bằng nguyên nhân vật lý. Ví dụ 4.3: Từ ví dụ (4.1) và (4.2) ở trên tính lại các hệ số hồi quy và tương quan theo các công thức (4.20), (4.26) ta được: 22 )( . xx yxxy a    242214265093271 62508422146555550526 ,, ,.,,    =1,33. yx yxxy r  .  94587721 62508422146555550526 ,., ,.,,   =0,847. Phương trình hồi quy viết theo (4.16): ),(,, 4221433162508  xy Hay: y=1,33.x-436,6 nghĩa là hoàn toàn như phương trình đã xác định trong ví dụ (4.1). e. Sai số phân tích tương quan Sai số phân tích tương quan được đánh giá bằng sai số phương trình hồi quy và sai số hệ số tương quan cũng như hệ số hồi quy. - Sai số phương trình hồi quy Sai số của phương trình hồi quy biểu thị bằng giá trị trung bình khoảng lệch quân phương giữa các điểm thực đo và các điểm tính theo phương trình hồi quy, và được gọi là sai số chuẩn. Vì đường hồi quy có 2 thông số là a và b nên số ràng buộc là 2 và số bậc tự do là =n-2. Sai số chuẩn của hồi quy y theo x sẽ là: 22 1 1 222 1 2           n yyxxayy n yy n i n i iii n i ii xy )()()()( ' / (4.24) Tương tự sai số chuẩn của hồi quy x theo y là: 22 1 1 222 1 2           n xxyyaxx n xx n i n i iii n i ii yx )()()()( ' / (4.25) Theo lý thuyết thống kê toán học các sai số chuẩn này có liên hệ với hệ số tương quan như sau: 21 ryxy   / , (4.26) 21 rxyx   / . (4.27) Nếu sai số phân tích tương quan có phân bố chuẩn thì các điểm nằm trong phạm vi xyy /, 6740 hoặc yxx /, 6740 sẽ chiếm 1/2 (50%) tổng số điểm. Còn trong phạm vi xyy /3 hoặc yxx /3 thì có tới 97,3% số điểm nằm trong đó. 105 - Sai số của giá trị trung bình có điều kiện xy Sai số chuẩn của giá trị xy cho bởi biểu thức: n xy y /   (4.28) Giá trị thực của xy nằm trong giới hạn xy  y với mức ý nghĩa . - Sai số hệ số tương quan và hệ số hồi quy Sai số hệ số hồi quy a được tính: n r x y a 21     (4.29a) hoặc:         n i i n i ii x xy a xx n yy 1 2 1 2 2 )( )( ' /    (4.29b) Và sai số hệ số tự do b là: n r n yy b 21    (4.30a) hoặc:     n i i xyb xx x n 1 2 21 )( / (4.30b) Sai số hệ số tương quan theo Romanovski là: 2 222 2 1375 2 11 1 1 1 n r n r n r r      (4.31) Khi dung lượng mẫu đủ lớn (n>25) thì ta có: 1 1 2    n r r (4.32) Hệ số tương quan mẫu khi n đủ lớn có phân bố gần chuẩn, còn khi n hữu hạn thì chệch âm, độ chệch này giảm đi khi tăng dung lượng n. - Đánh giá sự phù hợp của mô hình Để kiểm tra sự phù hợp của mô hình người ta sử dụng hệ số xác định R2, là độ đo phương sai chung của 2 biến lượng. Trong hồi quy 2 biến, nó tỷ lệ với phương sai của y’ được giải thích (xác định) theo phương trình hồi quy. Nó cũng là độ đo sự phù hợp của đường hồi quy với số liệu kinh nghiệm. Hệ số xác định được tính theo công thức [24]:        n i i n i ii yy yy R 1 2 1 2 2 1 )( )( ' , (4.33) trong đó: 'iy là giá trị tính theo phương trình hồi quy vừa xác lập. 106 Ví dụ 4.4: Xác định sai số phân tích tương quan theo số liệu ví dụ (4.1). Sai số đường hồi quy tính theo (4.26): 21 ryxy   / 2847017721 ,,  =383,6. Sai số hệ số tương quan tính theo (4.31): 2 222 2 1375 2 11 1 1 1 n r n r n r r      2 222 102 13847075 102 847011 1 110 84701 . ,. . ,.,      =0,1191. Sai số hệ số a theo (4.29): n r x y a 21     10 84701 9458 7721 2, , ,   =0,140. Sai số hệ số b theo (4.30): n r n yy b 21    10 847017721 10 7721 2,,,   =105,7. Hệ số xác định tính theo (4.33): Để việc tính toán thuận lợi ta lập bảng (4.3), tiếp theo của bảng (4.1). Trong bảng (4.3) y’ là giá trị tính theo phương trình hồi quy vừa thiết lập ở trên: y’=1,33x- 436,6.        n i i n i ii yy yy R 1 2 1 2 2 1 )( )( ' 254687947 741321635 1 , ,  =0,718, nghĩa là 71,8% phương sai được giải thích bởi đường hồi quy, còn lại 28,2% là do dao động ngẫu nhiên. Bảng 4.3: Đánh giá sai số tương quan mưa năm Đồng Hới và Tám Lu TT xi yi yi’ yi-yi’ (yi-yi’) 2 1 2636,1 2776,6 3069,41 -292,81 85739,45 2 2451,9 2917,1 2824,43 92,67 8588,28 3 2731,5 2535,0 3196,30 -661,30 437311,08 .... .............. .................. ................... .................. .................... 8 2358,0 3026,7 2699,54 327,16 107033,67 9 1721,7 1973,1 1853,26 119,84 14361,39 10 1905,7 2559,2 2097,98 461,22 212722,97  22144,3 25085,7 25085,92 1321635,74 x = 2214,4 y = 2508,6 f. ước lượng khoảng tin cậy - Khoảng tin cậy của các hệ số Khoảng tin cậy đối với hệ số hồi quy bj với độ tin cậy (1-) là: 107 jj bnjjbnj stbstb 2222 /,/, .      , (4.34) trong đó: j là giá trị đúng của hệ số hồi quy;  là mức ý nghĩa; n-2 là số bậc tự do; n là dung lượng mẫu; jb s là phương sai của các hệ số bj. Khoảng tin cậy của hệ số tương quan rất ít được thực hiện vì tính toán cồng kềnh. Lưu ý rằng hệ số tương quan tính theo mẫu là ước lượng vững nhưng chệch của hệ số tương quan lý thuyết với độ chệch là : )/()( n21 2  (4.35) - Khoảng tin cậy của đường hồi quy Khoảng tin cậy của đường hồi quy được xác định từ biểu thức: , )( )*( )*(/ )( )*( )*( //,//,            n i i xynn i i xyn xx xx n tbaxxy xx xx n tbax 1 2 2 22 1 2 2 22 11   (4.36) trong đó: x* là giá trị tại một điểm cụ thể của biến x=x*; y/x là trung bình có điều kiện đúng của y theo x; ax*+b là giá trị tính theo phương trình hồi quy; y/x là khoảng lệch chuẩn của y theo x. Phân tích khoảng tin cậy ta thấy rằng khi x= x thì khoảng tin cậy hẹp nhất, còn khi x* càng xa x thì khoảng tin cậy càng mở rộng. Đồng thời khi n  thì khoảng tin cậy cũng co lại và tiến dần tới 0. g. Kiểm định các hệ số Để kiểm định ý nghĩa thống kê của các hệ số trên, sử dụng tiêu chuẩn Student. - Kiểm định hệ số hồi quy Kiểm định hệ số a Tính chỉ tiêu: a a s a t  , (4.37) trong đó: sa tính theo (4.29b) với mức ý nghĩa  (1, 2, 5%) và số bậc tự do =n-2. Nếu tha tt  thì hệ số hồi quy a có ý nghĩa và được dùng trong phương trình tương quan. Kiểm định hệ số b Tương tự có thể tính chỉ tiêu: b b s b t  , (4.38) trong đó: sb tính theo (4.30b). Tuy nhiên trong thực tế người ta thường không kiểm định hệ số b. - Kiểm định hệ số tương quan: 21 2 r n rtr    , (4.39) với mức ý nghĩa  (1, 2, 5%) và số bậc tự do =n-2. Nếu thr tt  thì các hệ số tương quan r có ý nghĩa thống kê. 108 Ví dụ 4.5: Kiểm định các hệ số tương quan và hồi quy theo số liệu ví dụ (4.1). Kiểm định hệ số a. Chỉ tiêu Student theo (4.37):     n i i xya xx s 1 2 1 )( / 351895710 1 6383 , , =0,276. a a s a t  2760 331 , ,  =4,81. Với mức ý nghĩa 5% và số bậc tự do =n-2=8 tra bảng Student được tth=1,96. Như vậy ta=4,81> tth=1,96. Do đó hệ số hồi quy a có ý nghĩa thống kê. Kiểm định hệ số tương quan theo (4.39): 21 2 r n rtr    284701 210 8470 , ,    =4,506. Như vậy thấy rằng tr=4,506>tth=1,96, điều đó có nghĩa là hệ số tương quan có ý nghĩa. h. Kiểm định tính chất tuyến tính của đường hồi quy Về lý thuyết thì đường thẳng hồi quy của y theo x theo phương pháp bình phương tối thiểu là xấp xỉ tuyến tính tốt nhất.Nhưng nói chung chưa thể cho rằng mọi giá trị trung bình có điều kiện yx ứng với mỗi x nằm trên một đường thẳng. Để kiểm định giả thiết này, ta chia toàn bộ phạm vi biến thiên của x thành l khoảng (l8-10). Với mỗi khoảng thứ j có tâm tại điểm xj, tính giá trị trung bình có điều kiện yxj và phương sai thực nghiệm y/x theo các công thức sau:    i j m i ijx y m y 1 1 , (4.40)      i jj m i xijxy yy m 1 22 1 1 )(/ , (4.41) trong đó: mi là số các điểm (xij, yij) có hoành độ rơi vào khoảng thứ j. Tính tỷ số:                l j xyi l j j x y xi j j m n xxryym l F 1 2 1 2 1 1 1 2 1 /)( )(    (4.42) So sánh với Fth tra từ bảng Fisher (phụ lục 3.3) với mức tin cậy =1-, số bậc tự do 1=l-1 và 2=n-1. Nếu FFth thì giả thiết tuyến tính được chấp nhận. Ngược lại tính tuyến tính bị bác bỏ. Có thể dùng chỉ tiêu F sau đây để biểu thị sự phù hợp của đường hồi quy tuyến tính: 109 11 1