Bài giảng Kinh tế lượng Econometrics - Chương II: Mô hình hồi quy hai biến, ước lượng và kiểm định giả thiết

BÀI GIẢNG KINH TẾ LƯỢNG ECONOMETRICS Lê Anh Đức Khoa Toán kinh tế ĐH Kinh tế Quốc dân 1 CHƯƠNG II: MÔ HÌNH HỒI QUY HAI BIẾN, ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT 2.1. Phương pháp bình phương nhỏ nhất (OLS) 2.2. Các giả thiết cơ bản của phương pháp OLS 2.3. Độ chính xác của các ước lượng OLS 2.4. Hệ số r2 đo độ phù hợp của hàm hồi quy mẫu 2.5. Phân bố xác suất của Ui 2.6. Khoảng tin cậy và kiểm định giả thiết về các hệ số hồi quy 2.7. Kiểm định sự phù hợp của hàm hồi quy, phân tích hồi quy và phân tích phương sai 2.8. Phân tích hồi quy và dự báo 2.9. Trình bày kết quả phân tích hồi quy 2.10. Thí dụ 2 2.1. Phương pháp bình phương nhỏ nhất - OLS 1. Nội dung của phương pháp OLS • Xét mô hình hồi quy đơn dạng tuyến tính PRF: E(Y/Xi) = 1 + 2 Xi PRM: Yi = 1 + 2 Xi + Ui • Với mẫu W = {(Xi, Yi), i = 1÷ n} tìm được một ước lượng điểm của PRF SRF: SRM: 1 2 ˆ ˆ iˆ iY β β X  1 2 ˆ ˆ i i iY β β X e   3 • Đồ thị X1 X2 X3 X4 e4 e3 e2 e1 SRF Y X 4 • Nội dung của phương pháp OLS là tìm các ước lượng điểm sao cho tổng bình phương các phần dư là nhỏ nhất. Tức là sao cho càng gần với giá trị thực của Yi có thể được. • Tìm sao cho: 1 2 ˆ ˆ,β β iˆY  22 1 1 ˆ min n n i i i i i e Y Y       1 2 ˆ ˆ,β β 5 • Ta có • Ta cần tìm sao cho • Các hệ số là nghiệm của hệ phương trình sau 1 2 2 2 2 1 2 1 2 1 1 1 ˆ ˆˆ ˆ ˆ ˆ ˆˆ( ) ( ) ( , ) i i i i i n n n i i i i i i i i e Y Y Y X e Y Y Y X f                       1 2 ˆ ˆ,β β 1 2ˆ ˆ( , )f Min   1 2 1 2 1 2 1 1 11 21 2 1 2 1 2 1 1 1 12 ˆ ˆ( , ) ˆ ˆ ˆ ˆ0 2 ( ) 0ˆ ( ) ˆ ˆ( , ) ˆ ˆ ˆ ˆ2 ( ) 00ˆ n n n i i i i i i i n n n n i i i i i i i i i i i f Y X n X Y I f X Y X X X YX                                                         1 2 ˆ ˆ,β β 6 • Ký hiệu • Khi đó 1 1 1 1 n i i n i i X X n Y Y n       1 2 1 1 1 2 2 2 1 1 ˆ ˆ .( ) ˆ (?) ( ) n n n i i i i i i i n n i i i i Y X n Y X X YI n X X                         7 • Ký hiệu • Khi đó • Các hệ số là các ước lượng của được tính bằng phương pháp OLS - gọi là các ước lượng OLS i i i i x X X y Y Y     1 1 1 1 2 2 2 2 1 1 1 . ˆ (?) ( ) n n n n i i i i i i i i i i n n n i i i i i i n X Y X Y x y n X X x                    1 2 ˆ ˆ,  21 , 8 2. Các tính chất của các ước lượng OLS • Đối với Tính chất 1: với mỗi tệp số liệu mẫu thì xác định một duy nhất (?). Tính chất 2: là các ước lượng của và là các đại lượng ngẫu nhiên, với mỗi mẫu khác nhau thì chúng có giá trị khác nhau. 1 2 ˆ ˆ,  1 2 ˆ ˆ,  1 2 ˆ ˆ,  21, 9 • Đối với SRF Tính chất 1: SRF đi qua điểm trung bình mẫu Tính chất 2: Trung bình số học của các giá trị ước lượng bằng trung bình mẫu Tính chất 3: Tổng các phần dư bằng không Tính chất 4: Các phần dư không tương quan với các giá trị ước lượng được Tính chất 5: Các phần dư không tương quan với các giá trị của biến giải thích ( , )X Y 1 2 ˆ ˆ (?)Y X   1 1 ˆ ˆ (?) n i i i Y Y Y n    1 0(?) n i i e   1 ˆ ˆ( , ) 0(?) n i i i i i Cov e Y Ye    1 ( , ) 0(?) n i i i i i Cov e X X e    10 • Các hệ số là các ước lượng điểm của được tìm bằng phương pháp OLS. Chất lượng của chúng phụ thuộc vào các yếu tố sau: - Dạng hàm của mô hình lựa chọn - Kích thước mẫu - Biến độc lập Xi và sai số ngẫu nhiên Ui 1 2 ˆ ˆ,  21, 11 2.2. Các giả thiết cơ bản của phương pháp OLS • GT 1: Biến độc lập là phi ngẫu nhiên • GT 2: Kỳ vọng của các sai số ngẫu (SSNN) nhiên bằng 0 E(Ui) = 0  i • GT 3: Phương sai của các SSNN bằng nhau Var(Ui) = Var(Uj) =  2  i ≠ j • GtT 4: Các SSNN không tuơng quan với nhau Cov(Ui ,Uj) = 0  i ≠ j • GT 5: Các SSNN và biến độc lập không tương quan với nhau Cov(Ui , Xi) = 0  i 12 2.3. Độ chính xác của các ước lượng OLS • Đối với - Kỳ vọng toán - Phương sai - Độ lệch chuẩn (Standard Deviation) 1ˆ 1 1 ˆ( )E   2 2 21 1 2 1 ˆ( ) ; ( ) ( ) n i i in i i X Var Var U i n x          2 1 1 2 1 ˆ( ) n i i n i i X SD n x        13 - Do không xác định được nên nó được thay thế bằng một ước lượng điểm: gọi là sai số chuẩn của đường hồi quy (Standard Error of Regression) - Khi đó gọi là sai số chuẩn (Standard error) 2 2 2 2 1 1ˆ ˆ ( 2) ( 2) n n i i i i e e n n          ˆ 2 1 1 1 2 1 ˆ ˆ ˆ( ) ( ) n i i n i i X SD Se n x          1ˆ( )Se  14 • Đối với - Kỳ vọng toán - Phương sai - Độ lệch chuẩn (Standard Deviation) - Sai số tiêu chuẩn (Standard error) 2ˆ 2 2 ˆ( )E   2 2 2 1 ˆ( ) n i i Var x      2 2 1 ˆ( ) n i i SD x      2 2 1 ˆˆ( ) n i i Se x      15 Định lý Gauss – Markov Với các giả thiết 1-5 của phương pháp OLS, các ước lượng OLS là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch. là BLUE của 1 , 2 (Best Linear Unbiased Estimates) 1 2 ˆ ˆ,β β 16 2.4. Hệ số r2 đo độ phù hợp của SRF • Ta có 2 2 2 2 2 2 1 1 1 1 2 2 2 1 1 1 1 ˆ ˆ ˆ ˆ; ( 1 ) ˆ ˆ ˆ2 ˆ ˆ2 ˆ ˆ0 (?) i i i i i i i i i i i i i i i i n n n n i i i i i i i i i n n n n i i i i i i i i i Y Y e Y Y Y Y e Y Y y i n y y e y y e e y y y e e y e y y y e                                           17 • Ký hiệu TSS = ESS + RSS TSS = Total Sum of Squares ESS = Explained Sum of Squares RSS = Residual sum of squares 2 2 1 1 2 2 2 2 2 2 1 1 1 1 2 2 1 1 ( ) ˆˆ ˆ ˆˆ ( ) ( ) ˆ( ) n n i i i i n n n n i i i i i i i i n n i i i i i TSS y Y Y ESS y Y Y Y Y x RSS e Y Y                              18 • Ta có • Đây là hệ thức cơ bản của phương pháp phân tích phương sai (Analys of variance – ANOVA). • ANOVA là phân tích toàn bộ sự biến thiên của biến ngẫu nhiên thành các bộ phận khác nhau mà có thể giải thích được và khảo sát từng bộ phận đó. • Toàn bộ sự biến thiên của biến phụ thuộc Y xung quanh giá trị trung bình của nó (TSS) có thể tách thành hai bộ phận: - Các biến thiên của Y được giải thích thông qua hàm hồi quy (ESS), tức là thông qua các biến giải thích có mặt trong hàm hồi quy. - Các biến thiên của Y được giải thích bên ngoài mô hình (RSS), tức là không thông qua các biến giải thích có mặt trong hàm hồi quy. 1 ESS RSS TSS ESS RSS TSS TSS      19 • Ký hiệu gọi là hệ số xác định của mô hình (Determination coeffcient - r-Squares) • Ý nghĩa r2 đo tỷ lệ % sự biến thiên của Y được giải thích thông qua hàm hồi quy, tức là được giải thích thông qua biến độc lập của mô hình. Nó được sử dụng để đặc trưng cho mức độ thích hợp của hàm hồi quy 2 1 ESS RSS r TSS TSS    20 • Ta có - Nếu r2 = 0: Hàm hồi quy hoàn toàn không giải thích sự biến thiên của Y. - Nếu r2 = 1: Hàm hồi quy giải thích 100% sự biến thiên của Y. - Nếu r2 = 0,9: Hàm hồi quy giải thích 90% sự biến động của Y, tức là sự biến động của biến giải thích trong hàm hồi quy chi phối 90% sự biến động của Y. 2 2 2 2 2 21 2 2 2 2 1 ˆ ˆ (0 1) n i i X n Y i i x S r r Sy          21 • Ta có Gọi là hệ số tương quan của biến X và Y • Ý nghĩa: hệ số tương quan đo mức độ phụ thuộc tuyến tính giữa biến X và Y. • Tính chất của hệ số tương quan: - Nếu r > 0 tức là X và Y quan hệ cùng chiều; - Nếu r < 0 tức là X và Y quan hệ ngược chiều; - Nếu r = 0 tức là X và Y không phụ thuộc tương quan tuyến tính; - Nếu tức là X và Y có quan hệ phụ thuộc hàm số tuyến tính. 2r r 1 1r   1r   22 2.5. Phân phố xác suất của Ui • Để có thể phân tích về mặt thống kê đối với mô hình ta cần phải biết phân phối xác suất của các ước lượng thu được, các phân phối này tuỳ thuộc vào phân phối xác suất của các sai số ngẫu nhiên. • Giả thiết 6: Các sai số ngẫu nhiên có phân phối chuẩn i 2 ( ( ), ar(U ))( ) (0, ) i i i U N E U v i U N    23 • Các căn cứ để đưa ra giả thiết này: - Ui thường là tổng hợp của một số lớn các yếu tố ngẫu nhiên độc lập cùng tuân theo quy luật phân phối xác suất nào đó và mức độ ảnh hưởng đến Y là bé đều như nhau do đó Ui có phân phối chuẩn (định lý giới hạn trung tâm); - Quy luật phân phối chuẩn chỉ có hai tham số là kỳ vọng toán và phương sai nên dễ tính toán; - Quy luật phân phối chuẩn có tính chất là nếu Ui phân phối chuẩn thì một hàm tuyến tính của nó cũng có phân phối chuẩn. - Quy luật phân phối chuẩn có tính chất là tính độc lập và không tương quan là đồng nhất. 24 • Với các giả thiết 1-6 ( 2)1 1 1 1 1 1 1 1 1 1 1 ˆ ˆ ˆ ˆ( , ( )) (0,1) ˆ ˆ( ) ( ) nN Var Z N T T SD Se               ( 2)2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 ˆ ˆ ˆ ˆ( , ( )) (0,1)ˆ ˆ( ) ( ) ˆ( 2) ( 2) ( , )( ) n i i N Var Z N T T SD Se n n Y N X i                           25 Nhận xét: là các ước lượng điểm của nên tính đại diện không cao do đó cần phải tìm các ước lượng khoảng tin cậy và kiểm định các giả thuyết thống kê của chúng. 2 1 2 ˆ ˆ ˆ, ,   2 1 2, ,   26 2.6. Khoảng tin cậy và kiểm định giả thiết về các hệ số hồi quy 1. Đối với Ước lượng khoảng tin cậy Kiểm định giả thiết 2. Đối với Ước lượng khoảng tin cậy Kiểm định giả thiết ( 1 2)j j   2 27 Ước lượng khoảng tin cậy đối với • Ta có do đó với độ tin cậy (1 - ) ta có - Khoảng tin cậy đối xứng - Khoảng tin cậy bên phải dùng để ước lượng giá trị tối thiểu. - Khoảng tin cậy bên trái dùng để ước lượng giá trị tối đa: ( 1 2)j j   ( 2) ( 2) 2 2 ˆ ˆ ˆ ˆ( ) ( ) 1n nj j j j jP Se T Se T                  ( 2)ˆ ˆ( ) 1nj j jP Se T          ( 2)ˆ ˆ( ) 1nj j jP Se T          ( 2) ˆ ˆ( ) j j n j T T Se     28 Kiểm định giả thiết đối với • Kiểm định các cặp giả thiết • Tiêu chuẩn kiểm định • Miền bác bỏ giả thiết H0 với mức ý nghĩa  cho trước của các cặp giả thiết - Với cặp giả thiết (1) - Với cặp giả thiết (2) - Với cặp giả thiết (3) ( 1 2)j j   * * * 0 0 0 * * * 1 1 1 : : : (1), (2), (3) : : : j j j j j j j j j j j j H H H H H H                                  ( 2) 2 ( 2) ( 2) : : : n n n W T T T W T T T W T T T                      *ˆ ˆ( ) j j j T Se      29 • Trường hợp đặc biệt • Có thể sử dụng phương pháp kiểm định bằng giá trị P- value (P-value là mức xác suất nhỏ nhất để bác bỏ giả thiết H0), thường ký hiệu là P. • Quy tắc kết luận với mức ý nghĩa  cho trước như sau: - Với cặp giả thiết (1) + Nếu  > P thì bác bỏ giả thiết H0 + Nếu  < P thì không có cơ sở bác bỏ giả thiết H0 - Với cặp giả thiết (2) và (3) + Nếu  > P/2 thì bác bỏ giả thiết H0 + Nếu  < P/2 thì không có cơ ơở bác bỏ giả thiết H0 0 0 0 1 1 1 : 0 : 0 : 0 (1), (2), (3) : 0 : 0 : 0 j j j j j j H H H H H H                        30 • Xét mô hình hồi đơn có dạng tuyến tính PRF: E(Y/Xi) = 1 + 2 Xi PRM: Yi = 1 + 2 Xi + Ui • Cặp giả thiết cơ bản • Nếu bác bỏ H0: hệ số hồi qui 2 có ý nghĩa thống kê (statistically significal), mô hình có ý nghĩa; ngược lại thì hệ số 2 gọi là không có ý nghĩa thống kê, mô hình không có ý nghĩa thống kê.      0:H 0:H 21 20   31 Ước lượng khoảng tin cậy đối với • Ta có do đó với độ tin cậy (1 - ) ta có - Khoảng tin cậy đối xứng: - Khoảng tin cậy bên phải dùng để ước lượng giá trị tối thiểu: - Khoảng tin cậy bên trai dùng để ước lượng tối đa: 2 2 2 2 2 2 1 2 2 ˆ ˆ( 2) ( 2) 1 ( 2) ( 2) n n P n n                      2 2 2 ˆ( 2) 1 ( 2) n P n            2 2 2 1 ˆ( 2) 1 ( 2) n P n             2 2 2 2 ˆ( 2) ( 2) n n        32 Kiểm định giả thiết đối với • Kiểm định các cặp giả thiết • Tiêu chuẩn kiểm định • Miền bác bỏ giả thiết H0 với mức ý nghĩa  cho trước của các cặp giả thiết - Với cặp giả thiết (1) - Với cặp giả thiết (2) - Với cặp giả thiết (3) 2 2 2 2 2 2 2 0 0 0 0 0 0 2 2 2 2 2 2 1 0 1 0 1 0 : : : (1), (2), (3) : : : H H H H H H                                  2 2 22 2 2 1 2 2 2 2 2 2 2 1 ( 2) : ( 2) : ( 2) : ( 2) n W n W n W n                                         2 2 2 0 ˆ( 2)n      33 2.7. Kiểm định sự phù hợp của hàm hồi quy • r2tổng thể = 0 : hàm hồi qui không phù hợp • Kiểm định cặp giả thiết • Ta có • Miền bác bỏ giả thiết H0 với mức ý nghĩa  cho trước • Sử dụng giá trị P-value + Nếu  > P thì bác bỏ giả thiết H0 + Nếu  < P thì không có cơ ơở bác bỏ giả thiết H0 2 0 2 0 2 1 2 1 : 0 : 0 : 0 : 0 H H r H H r           2 2 2 2 /1 * /1 /1 (1, 2) /( 2) (1 ) /( 2) (1 )/( 2) ESS TSS r r F F n RSS n r TSS n r n           : (1, 2)W F F F n    34 2.8. Phân tích hồi quy và dự báo • Vấn đề: sử dụng SRF ước lượng được để dự báo về biến phụ thuộc. - Dự báo giá trị trung bình của biến phụ thuộc (biết X = X0 cần dự báo giá trị E(Y/X0)). - Dự báo giá trị cá biệt của biến phụ thuộc (biết X = X0 cần dự báo giá trị (Y0 = Y/X0)) 35 Dự báo giá trị trung bình của biến phụ thuộc • SRF cho ta một ước lượng điểm của E(Y/X0) trên mẫu • Để dự báo E(Y/X0) cho tổng thể ta ƯL khoảng tin cậy của nó. • Ta có • Do đó với độ tin cậy (1-) cho trước 0 1 2 0 ˆ ˆYˆ X   ( 2)0 0 0 2 0 0 2 ˆ ( / ) ˆ( ) ( )1ˆ ˆ( ) n i Y E Y X T T Se Y X X Se Y n x       ( 2 ) ( 2 ) 0 0 0 0 0 2 2 ( 2 ) 0 0 0 ( 2 ) 0 0 0 ˆ ˆ ˆ ˆ( ) ( / ) ( ) ˆ ˆ( / ) ( ) ˆ ˆ( / ) ( ) n n n n Y Se Y T E Y X Y Se Y T E Y X Y Se Y T E Y X Y Se Y T                 36 Dự báo giá trị cá biệt của biến phụ thuộc • SRF cho ta một ước lượng điểm của Y0 = (Y/X0) trên mẫu • Để dự báo Y0 của tổng thể ta ƯL khoảng tin cậy của nó. • Ta có • Do đó với độ tin cậy (1-) cho trước 0 1 2 0 ˆ ˆYˆ X   ( 2 )0 0 0 0 2 0 0 0 2 1 ˆ ˆ( ) ( )1ˆ ˆ( ) 1 n n i i Y Y T T Se Y Y X X Se Y Y n x             ( 2 ) ( 2 ) 0 0 0 0 0 0 0 2 2 ( 2) 0 0 0 0 ( 2) 0 0 0 0 ˆ ˆ ˆ ˆ( ) ( ) ˆ ˆ( ) ˆ ˆ( ) n n n n Y Se Y Y T Y Y Se Y Y T Y Y Se Y Y T Y Y Se Y Y T                     37 2.9. Trình bày kết quả phân tích hồi quy r2 Bậc tự do n-2 Thống kê T Thống kê F iˆY 1ˆ 2ˆ iX 1ˆ( )Se  2 ˆ( )Se  1 1 ˆ ˆ/ ( )Se  2 2 ˆ ˆ/ ( )Se  2 2 2 (1 ) 1 r n F r    38 2.10. Thí dụ • Thí dụ 2.2 – trang 41 • Thí dụ 2.3 – trang 46 39