Bài giảng Hồi quy và tương quan - Bài 5: Hồi quy và tương quan - Nguyễn Chí Minh Trung

Hồi quy và tương quan ThS. Nguyễn Chí Minh Trung Mục tiêu 1. Phân tích được sự liên quan giữa hai biến định lượng thông qua biểu đồ 2. Xây dựng và phiên giải đường hồi quy 3. Tính và phiên giải được hệ số tương quan 4. Kiểm định đường hồi quy Hồi quy và tương quan Nội dung chính: 1. Giới thiệu chung 2. Mô hình hồi quy 3. Phương trình hồi quy 4. Đánh giá phương trình hồi quy 5. Sử dụng mô hình hồi quy để ước lượng và dự đoán 6. Mô hình tương quan 1. Giới thiệu Hồi quy (regression) : • Khẳng định mối liên hệ giữa hai biến số, • Dự đoán hoặc ước lượng giá trị của một biến số từ các giá trị của một hay nhiều biến số khác. Ví dụ: dự đoán huyết áp dựa trên tuổi, cân nặng, .... Ý tưởng về hồi quy được nhà khoa học người Anh, Francis Galton (1822-1911) đưa ra lần đầu tiên trong nghiên cứu về di truyền – hình thể con người. 1. Giới thiệu Tương quan (correlation). • Đo lường độ lớn của mối quan hệ giữa các biến số với nhau 2. Mô hình hồi quy - cần đưa ra một dự đoán hoặc ước lượng giá trị của một biến số từ các giá trị của một hay nhiều biến số, - người nghiên cứu đưa ra được một mô hình toán học hoặc áp dụng được các mô hình để phân tích các quần thể này. - mô hình đó có, hoặc ít nhất là một xấp xỉ đại diện cho quần thể đó không - mô hình đó là một đại diện tốt nhất cho quần thể họ quan tâm 2. Mô hình hồi quy Các giả thuyết cho mô hình hồi quy Trong mô hình hồi quy tuyến tính: + X là một biến độc lập và bao giờ cũng được kiểm soát bởi người nghiên cứu. + Y được biết đến là biến phụ thuộc (còn gọi là biến tiên lượng) 2. Mô hình hồi quy Mô hình hồi quy dựa trên một số giả thuyết sau: 1. Giá trị của biến X là cố định và có một số lượng giới hạn các giá trị 2. Biến X được thu thập không có sai số, hoặc sai số rất 3. Đối với mỗi giá trị của biến X thì ta sẽ xác định được một tập hợp giá trị của biến Y; tập hợp giá trị của Y có phân bố chuẩn. 4. Tất cả các phương sai của các tập hợp giá trị Y là bằng nhau 5. Tất cả các giá trị trung bình của tập hợp giá trị Y đều nằm trên một đường thẳng. 6. Các giá trị của Y là độc lập với nhau 2. Mô hình hồi quy 2. Mô hình hồi quy • Mô hình tuyến tính Y=  + bX+ e • Trong đó Y = biến phụ thuộc X = biến độc lập  = giao điểm b = độ dốc e = giá trị sai số X Y  b 3. Phương trình hồi quy Các bước tiến hành một phân tích hồi quy 1.Đánh giá xem các giả thuyết về mối liên hệ tương quan tuyến tính trong bộ số liệu để phân tích có thoả mãn không. 2.Xác định phương trình đường hồi quy mô tả bộ số liệu đó một cách chính xác nhất 3.Đánh giá phương trình hồi quy để xác định mức độ của mối tương quan và tính áp dụng của nó trong việc dự đoán và ước lượng. 4.Nếu các số liệu được thể hiện tốt trong mô hình tuyến tính vừa xây dựng, sử dụng phương trình hồi quy để dự đoán và ước lượng các giá trị. 3. Phương trình hồi quy Biểu đồ chấm điểm gợi ý cho chúng ta được mối quan hệ tự nhiên của hai biến đường thẳng nào trong các đường thẳng đó cho phép mô tả tốt nhất về mối liên hệ giữa hai biến X và Y? 3. Phương trình hồi quy Đường bình phương tối thiểu (least- square line) Là một đường thẳng mà từ đó tổng bình phương tới đường thẳng trung bình là nhỏ nhất (tối thiểu) Tính toán đường bình phương tối thiểu                     n i n i i i n i n i n i ii ii n i i n i ii n x x n yx yx xx yyxx b 1 1 2 2 1 1 1 1 2 1 )( ))(( )( ))(( Tính các hệ số hồi quy từ mẫu xbya  Ví dụ Kết quả đo vòng bụng (X) và độ dày mỡ bụng (Y) của 109 đàn ông ID X Y ID X Y ID X Y ID X Y ID X Y ID X Y 1 74.75 25.72 21 76.85 36.6 41 83.5 73.13 61 77.6 57.05 81 103.5 132 101 106 151 2 72.6 25.89 22 80.9 40.25 42 76 50.5 62 84.9 99.73 82 110 126 102 109.7 229 3 81.8 42.6 23 79.9 35.43 43 80.5 50.88 63 79.8 27.96 83 110 153 103 115 253 4 83.95 42.8 24 89.2 60.09 44 86.5 140 64 108.3 123 84 112 158 104 101 188 5 74.65 29.84 25 82 45.84 45 80 96.54 65 119.6 90.41 85 108.5 183 105 100.1 124 6 71.85 21.68 26 92 70.4 46 107.1 118 66 119.9 106 86 104 184 106 93.3 62.2 7 80.9 29.08 27 86.6 83.45 47 94.3 107 67 96.5 144 87 111 121 107 101.8 133 8 83.4 32.98 28 80.5 84.3 48 94.5 123 68 105.5 121 88 108.5 159 108 107.9 208 9 63.5 11.44 29 86 78.89 49 79.7 65.92 69 105 97.13 89 121 245 109 108.5 208 10 73.2 32.22 30 82.5 64.75 50 79.3 81.29 70 107 166 90 109 137 11 71.9 28.32 31 83.5 72.56 51 89.8 111 71 107 87.99 91 97.5 165 12 75 43.96 32 88.1 89.31 52 83.8 90.73 72 101 154 92 105.5 152 13 73.1 38.21 33 90.8 78.94 53 85.2 133 73 97 100 93 98 181 14 79 42.48 34 89.4 83.55 54 75.5 41.9 74 100 123 94 94.5 80.95 15 77 30.96 35 102 127 55 78.4 41.71 75 108 217 95 97 137 16 68.85 55.78 36 94.5 121 56 78.6 58.16 76 100 140 96 105 125 17 75.95 43.78 37 91 107 57 87.8 55.85 77 103 109 97 106 241 18 74.15 33.41 38 103 129 58 86.3 155 78 104 127 98 99 134 19 73.8 43.35 39 80 74.02 59 85.5 70.77 79 106 112 99 91 150 20 75.9 29.31 40 79 55.48 60 83.7 75.08 80 109 192 100 102.5 198 Ví dụ xbxay 4557,39167,215ˆ  Đường hồi qui              n i n i i i n i n i n i ii ii n x x n yx yx b 1 1 2 2 1 1 1 )( ))(( xbya  Ví dụ Kết quả từ excel SUMMARY OUTPUT Regression Statistics Multiple R 0.81730461 R Square 0.66798682 Adjusted R Square 0.66488389 Standard Error 33.2575684 Observations 109 ANOVA df SS MS F Significance F Regression 1 238109.8 238109.8 215.2764 2.26E-27 Residual 107 118349 1106.066 Total 108 356458.9 Coefficients Standard Error t Stat P-value Lower 95% Upper 95% Intercept -215.916652 21.87322 -9.87128 9.99E-17 -259.278 -172.556 X Variable 1 3.45569752 0.235525 14.6723 2.26E-27 2.988796 3.922599 xy 4557,39167,215ˆ  Đường hồi quy mô tả mối quan hệ giữa vòng bụng và độ dày mỡ bụng là: Ví dụ độ dày mỡ bụng = -215,9167 + 3,4557* vòng bụng 0 50 100 150 200 250 300 0 20 40 60 80 100 120 140 đ ộ d à y m ỡ b ụ n g vòng bụng Biểu đồ chấm điểm thể hiện vòng bụng (X) và độ dày mỡ bụng (Y) của 109 đàn ông Giá trị độ dốc (với mỗi một cm vòng bụng tăng lên thì độ dày mở bụng sẽ tăng 3,4557 cm2) Giá trị điểm cắt 4. Đánh giá đường hồi qui • Phương pháp bình phương tối thiểu sẽ cho chúng ta đường hồi qui kể cả khi không có mối quan hệ tuyến tính giữa X và Y • Chúng ta cần phải đánh giá xem đường hồi qui có phải là tốt nhất hay không? • Chúng ta đánh giá độ dốc (slope) của đường hồi qui. 4. Đánh giá đường hồi qui Có mối quan hệ tuyến tính (độ dốc khác 0) Không có mối quan hệ tuyến tính, hoặc mối quan hệ chưa đủ mạnh (độ dốc bằng 0) độ dốc (slope) của đường hồi qui. 4. Đánh giá đường hồi qui H0: b = 0 H1: b ≠ 0 Kiểm định được sử dụng: thống kê này sẽ có phân bố t-student với df=n-2 bs b t b     2 2 )( xx s s i btrong đó      2222 )()( 2 1 xxbyy n s ii Kiểm định giả thuyết H0: b=0 với kiểm định t 4. Đánh giá đường hồi qui Ví dụ: Kiểm định giả thuyết thống kê về mối quan hệ tuyết tính giữa giữa vòng bụng và độ dày mỡ bụng, sử dụng  = 5%. Bác bỏ giả thuyết H0 vì giá trị 14,6723 > 1,9824 +Kết luận: giá trị độ dốc của đường hồi quy khác 0 và phương trình hồi quy này đã mô tả tốt mối liên quan giữa biến X và Y. +Phiên giải kết quả: Mô hình hồi qui có thể giúp ước lượng tốt lớp mỡ bụng thông qua chỉ số vòng bụng. 6723,14 2355,0 04557,3      bs b t b 4. Đánh giá đường hồi qui b+t(1-/2)sb • Trong ví dụ trên, khoảng tin cậy 95% của giá trị b sẽ là • 3,4557 + 1,9824 (0,2355) và bằng (2,9888; 3,9226) • Chúng ta sẽ phiên giải giá trị khoảng tin cậy như sau: có thể 95% chắc chắn rằng giá trị b sẽ nằm trong khoảng từ 2,9888 tới 3,9226. Khoảng tin cậy 100(1-)% cho giá trị b 4. Đánh giá đường hồi qui Để đo lường độ mạnh của mối quan hệ tuyến tính chúng ta dùng hệ số xác định SST SSR yy yy R       2 2 2 )( )ˆ( Hệ số xác định Hệ số xác định • Sự biến thiên của các giá trị quan sát và giá trị trung bình: Tổng biến thiên của Y (SST) Mô hình hồi qui (SSR) Sai số (SSE) Hệ số xác định x1 x2 y1 y2 y Hai điểm số liệu (x1,y1) và (x2,y2)  22 2 1 )yy()yy( 2 2 2 1 )yyˆ()yyˆ(  2 22 2 11 )yˆy()yˆy(  Tổng biến thiên y = Biến thiên lý giải bằng đường hồi qui + Phần chưa lý giải (sai số) biến thiên của y = SSR + SSE Hệ số xác định • R2 đo lường tỷ lệ biến thiên của y được lý giải bằng sự biến thiên của x           n y y n x xb yy SSR R i i i i i 2 2 2 22 2 2 )( )( ( )( • R2 có giá trị từ 0 đến 1 R2 = 1: lý tưởng, đường hồi qui trùng với các điểm số liệu. R2 = 0: không có mối liên hệ giữa x và y. Ví dụ SUMMARY OUTPUT Regression Statistics Multiple R 0.5813 R Square 0.3379 Adjusted R Square 0.3011 Standard Error 0.5892 Observations 20 ANOVA df SS MS F Sig. F Regression 1 3.1894 3.1894 9.1865 0.0072 Residual 18 6.2493 0.3472 Total 19 9.4387 Coef. SE t Stat P-value Lower 95% Upper 95% Intercept -8.4465 4.0611 -2.0798 0.0521 -16.9786 0.0856 X Variable 1 0.0744 0.0245 3.0309 0.0072 0.0228 0.1260 Hệ số xác định=0,3379, nghĩa là chỉ có 33,8% biến thiên của FEV được lý giải bằng sự biến thiên của chiều cao (mô hình chưa phải là mô hình tốt) Sử dụng đường hồi qui • Nếu mô hình hồi quy là mô tả tốt cho mối quan hệ giữa hai biến chúng ta có thể dùng mô hình đó để dự đóan giá trị của y: – Ước lượng điểm – Ước lượng khỏang Ước lượng điểm • Ví dụ: – Ước lượng FEV của một sinh viên cao 187cm: y=-8,45+0,0744*187=5,46 lít – Một sinh viên cao 187cm sẽ có dung tích thở gắng sức là 5,46 lít – Kết quả này chính xác như thế nào? Ước lượng khoảng • Hai giá trị khỏang: – Ước lượng khỏang giá trị của y với một giá trị của x – Khỏang tin cậy – ước lượng trung bình của y với mỗi giá trị của x.      2 2 |)2/1( )( )(1 1ˆ xx xx n sty i p xy      2 2 |)2/1( )( )(1 ˆ xx xx n sty i p xy Kiểm định F cho mô hình hồi quy Giả thuyết thống kê H0: b = 0 và H1: b ≠ 0 (or 0) ANOVA df SS MS F Sig. F Regression (SSReg) 1 SSReg/ df MSR/MSE Residual (SSRes) n-2 SST-SSReg SSRes/ df Total n-1 Bác bỏ H0 nếu F>F1,n-2, 1- Không bác bỏ H0 nếu F< F1,n-2, 1- Hệ số tương quan • Hệ số tương quan (Coefficient of correlation) được sử dụng để đo lường độ lớn của mối quan hệ giữa hai biến số. Y X Y X Y X Y X Y X Ví dụ một số giá trị hệ số tương quan r = -1 r = -.6 r = 0 r = .6 r = 1 Cách tính • Công thức • Giá trị hệ số tương quan nằm trong khỏang -1 đến 1 – nếu r = -1 (mối tương quan nghịch) hoặc r = +1 (mối tương quan thuận) tất cả các điểm số liệu nằm trên đường hồi quy – nếu r = 0 không có mối tương quan            nyy nxxb r i ii / / 22 222 Kiểm định giả thuyết cho r • Giả thuyết H0:  = 0 (không liên quan) H1:   0 (có mối quan hệ tuyến tính) • Kiểm định 2 2 r t r n     với df = n - 2 Ví dụ • Hệ số tương quan giữa FEV và chiều cao • Kiểm định H0:  = 0 (không liên quan) H1:   0 (có mối quan hệ tuyến tính) t>t tra bảng=2,1  bác bỏ H0, có mối quan hệ tuyến tính giữa FEV và chiều cao,   58,0 20/)1,77(6,306 20/)6,3307(2,547587)0744,0( 2 22    r 02,3 220 58,01 058,0 2     t Mô hình tuyến tính – không tuyến tính Không tuyến tính, hồi quy bội Tuyến tính  X e e X Y X Y X Hồi quy đa biến • Có nhiều biến độc lập – y = b0+b1x1 + b2x2+ ....+bnxn+ e • Hồi quy logistics: – y = b0+b1x1 + b2x2+ ....+bnxn+ e – Trong đó y là biến phụ thuộc chỉ có hai giá trị có/không Tóm tắt • Hệ số tương quan: -> có/không, thuận/nghịch, mạnh yếu • Biểu đồ chấm điểm: • Mô hình hồi quy tuyến tính: Y= a + bX Dự đoán: X tăng 1-> Y tăng b Y0 tương ứng X0 nào đó Hệ số xác định: -> X chi phối ?% đến Y Sử dụng SPPP • Hệ số tương quan: Analyze\Correlate\Bivariate: • Biểu đồ chấm điểm: Graphs  Lagacy Dialogs  Scatter Dot  Simple Scatter  Define • Mô hình hồi quy tuyến tính: Analyze\Regression\Linear