Bài giảng Kinh tế lượng - Chương 5 Kiểm định và lựa chọn mô hình

9/20/2013 1 CHƢƠNG 5 KIỂM ĐỊNH VÀ LỰA CHỌN MÔ HÌNH 1 Chương 1, 2, 3 cho thấy:  Khi giả thiết 1 → 4 thỏa mãn thì các ước lượng OLS là các ước lượng BLUE.  Khi giả thiết 5 thỏa mãn thì các suy diễn thống kê là có giá trị. Vậy:  Nếu một trong các giả thiết không được thỏa mãn?  Khi đó thì làm thế nào để thu được ước lượng tốt nhất, và các suy diến thống kê đáng tin cây? => Nội dung chương 5. 2 CHƢƠNG 5: KIỂM ĐỊNH VÀ LỰA CHỌN MÔ HÌNH 9/20/2013 2 NỘI DUNG CHƢƠNG 5 I. Kỳ vọng của sai số ngẫu nhiên khác không II. Phương sai sai số thay đổi III. Sai số ngẫu nhiên không tuân theo quy luật chuẩn IV. Vấn đề đa cộng tuyến V. Mô hình chứa biến không thích hợp 3 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG  Giả thiết 2: Kỳ vọng của sai số ngẫu nhiên với điều kiện X bằng 0. E(ui| Xi) = 0  Phụ lục 1.2 (trang 77) cho thấy rằng nếu giả thiết 2 thỏa mãn thì sẽ có:  E(u) = 0 (5.1)  cov(X, u) = 0 (5.2)  => Nếu (5.1) hoặc (5.2) không thỏa mãn thì giả thiết 2 sẽ không còn thỏa mãn. 4 9/20/2013 3 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG Minh họa giả thiết 2: Trung bình sai số ngẫu nhiên tại mỗi giá trị Xi: E(u/X=Xi)=0 5 1 2( | )i i iE Y X X   • • • • Xn Xi X1 Y X • • • ui: E(ui|Xi) =0 u1: E(u1|X1) =0 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG 1. Nguyên nhân của kỳ vọng sai số ngẫu nhiên khác không  Mô hình thiếu biến quan trọng  Dạng hàm sai  Tính tác động đồng thời của số liệu  Sai số đo lường của các biến độc lập 6 9/20/2013 4 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG 2. Hậu quả của kỳ vọng sai số ngẫu nhiên khác không Ước lượng OLS sẽ là ước lượng chệch Các suy diễn thống kê không còn đáng tin cậy Lượng chệch của các ước lượng OLS: 𝐸 𝛽 𝑗 − 𝛽𝑗 Và lim 𝑛→∞ 𝐸 𝛽 𝑗 − 𝛽𝑗 = 𝑐𝑜𝑣(𝑋𝑗,𝑢) 𝑣𝑎𝑟(𝑋𝑗) => Lượng chệch không mất đi kể cả khi kích thước mẫu lớn vô cùng 7 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG  Lượng chệch khi mô hình thiếu biến: • Mô hình phù hợp: Y = β1 + β2X2 + β3X3 + u1 • Mô hình sử dụng: Y = α1 + α2X2 + u2 • ⇒ 𝑬 𝜶 𝟐 = 𝜷𝟐 + 𝜷𝟑𝒃 𝟐 với 𝑏 2 là hệ số góc ước lượng của mô hình: X3 = b1 + b2X2 + v • => Lượng chệch 𝜷𝟑𝒃 𝟐 => Chiều của lượng chệch khi mô hình thiếu biến: 8 r23 > 0 r23<0 + - - + 3 0  3 0  9/20/2013 5 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG 3. Phát hiện về sự khác không của kỳ vọng sai số ngẫu nhiên a) Mô hình bỏ sót biến quan trọng  Xét mô hình gốc: (5.3)  Liệu mô hình (5.3) có bỏ sót biến Z hay không? (có số liệu về biến Z)  => Ước lượng mô hình: (5.4)  => Kiểm định cặp giả thuyết: H0: αk+1 = 0 H1: αk+1 ≠ 0 => Thực hiện bằng kiểm định T hoặc kiểm định F 9 1 2 2 .. k kY X X u       1 2 2 1.. k k kY X X Z v          I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG b) Mô hình có dạng hàm sai  Kiểm định Ramsey:  Xét mô hình gốc: Yi = β1 + β2 Xi + β3 X3i + ui  Tư tưởng của kiểm định Ramsey: sử dụng dạng mũ của giá trị ước lượng của biến phụ thuộc, , để thay thế cho tổ hợp của các biến dạng mũ của các biến độc lập. 10 m iii YYY ˆ&...ˆ;ˆ 32 9/20/2013 6  Các bước thực hiện kiểm định Ramsey:  B1: Ước lượng mô hình gốc =>  B2: Ước lượng mô hình hồi quy phụ: Việc đưa thành phần dạng lũy thừa của vào mô hình hồi quy mới không bị hạn chế, nhưng thông thường dừng ở lũy thừa bậc 2 hoặc bậc 3. 11 iYˆ i m imiiiii vYYYXXY  13 2 2 133221 ˆ...ˆˆ  I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG  B3: Kiểm định cặp giả thuyết: Hay: H0: Mô hình gốc có dạng hàm đúng - không thiếu biến H1: Mô hình gốc có dạng hàm sai - thiếu biến => Thực hiện bằng kiểm định F. 12 0...: 0...: 22 2 2 11 210   m m H H   9/20/2013 7 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG  Một số kiểm định khác  Kiểm định Davidson – Mac Kinnon (kiểm định J)  Kiểm định sử dụng hàm gộp (Giáo trình trang 212 – 214) 13 I. KỲ VỌNG CỦA SAI SỐ NGẪU NHIÊN KHÁC KHÔNG 4. Một số biện pháp khắc phục  Thêm biến Z bị thiếu vào mô hình (nếu có số liệu của Z)  Xem xét các mô hình thay thế; hoặc thêm các biến dạng bình phương, lập phương của các biến độc lập đã có trong mô hình.  Thiếu biến không quan sát được: sử dụng biến đại diện; hoặc sử dụng phương pháp biến công cụ. 14 9/20/2013 8 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI  Giả thiết 3: Phương sai của sai số ngẫu nhiên là bằng nhau tại mọi giá trị Xi 𝑉𝑎𝑟 𝑢 𝑋𝑖 = 𝜎 2  Minh họa: 15 1 2( | )i i iE Y X X   Xn X2 X1 f(u|X) X Y Phân phối của u tại X1 Phân phối của u tại Xn Phân phối của u tại X2 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI  Giả thiết 3 bị vi phạm, tức là sai số ngẫu nhiên u có phương sai thay đổi: 𝑉𝑎𝑟 𝑢 𝑋𝑖 = 𝜎𝑖 2  Minh họa: 16 1 2( | )i i iE Y X X   Xn X2 X1 f(u|X) X Y Phân phối của u tại X1 Phân phối của u tại Xn Phân phối của u tại X2 9/20/2013 9 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI 1. Nguyên nhân của phƣơng sai sai số (PSSS) thay đổi Do bản chất của số liệu  Do mô hình thiếu biến quan trọng hoặc dạng hàm sai 17 2. Hậu quả của phƣơng sai sai số thay đổi  Các ước lượng OLS cho các hệ số vẫn là các ƣớc lƣợng không chệch:  Các ước lượng hệ số không còn là ước lượng tốt nhất nữa  bị ước lượng chệch, do đó các khoảng tin cậy và kết luận kiểm định về các giả thuyết thống kê đối với hệ số hồi quy là không còn giá trị (không chính xác). )ˆ( jVar  jjE  ) ˆ( 18 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI 9/20/2013 10 3. Phát hiện PSSS thay đổi  Xét mô hình: Yi = β1 + β2 X2i + β3 X3i + + βk Xki + ui  Do giả thiết 2: E(u/X2i,,Xki) = 0 19 ),...,/( )),...,/((),...,/( ),...,/( 2 2 2 22 2 2 kii kiikii kii XXuE XXuEXXuE XXuVar    II. PHƢƠNG SAI SAI SỐ THAY ĐỔI II. PHƢƠNG SAI SAI SỐ THAY ĐỔI Các biện pháp phát hiện PSSS thay đổi:  Sử dụng đồ thị phần dư  Kiểm định Breusch – Pagan (giáo trình)  Kiểm định White  Kiểm định dựa trên biến phụ thuộc  Một số kiểm định khác: Park, Glejer (giáo trình) 20 9/20/2013 11 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI  Kiểm định White  Với n đủ lớn thì phương sai của các hệ số ước lượng là tiệm cận với phương sai đúng nếu giả thiết 3’ được thỏa mãn.  Giả thiết 3': không tương quan với các biến độc lập, bình phương của các biến độc lập, và tích chéo của các biến độc lập.  => Xét xem liệu có tương quan với các biến độc lập và tích các biến độc hay không nhằm đánh giá mô hình gốc có PSSS thay đổi hay đồng đều. 21 2 iu 2 iu Các bƣớc thực hiện kiểm định White: Xét mô hình gốc: Yi = β1 + β2 X2i + β3 X3i + ui (5.5)  Bƣớc 1: Ước lượng mô hình hồi quy gốc => phần dư ei  Bƣớc 2: Ước lượng mô hình hồi quy phụ: (**)  Bƣớc 3: Xét cặp giả thuyết: hay H0 : Mô hình gốc có PSSS đồng đều H1 : Mô hình gốc có PSSS thay đổi iiii iiii vXXX XXXe   326 2 35 2 2433221 2   22 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI 9/20/2013 12 Có 2 cách kiểm định có thể thực hiện:  Kiểm định F: Tính Nếu Fqs > Fα (k(**) -1; n – k(**) ) thì bác bỏ H0; chấp nhận H1  Kiểm định X2 : Tính: Nếu thì bác bỏ H0 ; chấp nhận H1 1 . 1 (**) (**) 2 (**) 2 (**)     k kn R R Fqs 23 2 (**) 2 .Rnqs  )1( (**) 22  kqs  II. PHƢƠNG SAI SAI SỐ THAY ĐỔI Lưu ý:  Kiểm định trên được gọi là kiểm định White có tích chéo do trong mô hình (**) có chứa thành phần tích chéo giữa các biến độc lập ( X2i * X3i )  Trong nhiều trường hợp có thể bỏ đi số hạng chứa tích chéo => Kiểm định White không tích chéo.  Mô hình (**) nhất định phải có hệ số chặn.  Dạng thu gọn của kiểm định White là có thể hồi quy theo từng thành phần X2i ; X3i ; riêng biệt mà không cần kết hợp trong một phương trình. 24 2 ie 2 3 2 2 ; ii XX II. PHƢƠNG SAI SAI SỐ THAY ĐỔI 9/20/2013 13 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI  Kiểm định dựa trên biến phụ thuộc Thay vì xét hàm hồi quy phụ (**) ta xét hàm hồi quy phụ sau: (***) và kiểm định cặp giả thuyết: H0: H1: 25 2 2 1 2 3 ˆ ˆ wi i i ie Y Y      2 3 0   2 2 2 3 0   II. PHƢƠNG SAI SAI SỐ THAY ĐỔI 4. Khắc phục phƣơng sai sai số thay đổi  PSSS thay đổi có thể do mô hình thiếu biến hoặc dạng hàm sai => xem xét xem liệu mô hình có gặp phải hai vấn đề này không?  Phương pháp bình phương bé nhất tổng quát (GLS – generalized least squares)  Ước lượng sai số chuẩn vững (robut standard error) 26 9/20/2013 14 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI a) Phương pháp bình phương bé nhất tổng quát Các bước thực hiện:  Bước 1: Nhận biết được dạng thay đổi của phương sai sai số  Bước 2: Biến đổi tương đương để đưa mô hình gốc về một mô hình mới mà sai số ngẫu nhiên trong mô hình mới này có phương sai sai số không đổi (Tổng quát: nếu thì chia cả hai vế của mô hình gốc cho Ki)  Bước 3: Sử dụng phương pháp OLS để ước lượng mô hình mới.  Bước 4: Từ các hệ số ước lượng của mô hình mới suy ra các hệ số ước lượng của mô hình gốc 27 222 . ii K  II. PHƢƠNG SAI SAI SỐ THAY ĐỔI Ví dụ: Xét mô hình: (5.6)  Giả sử:  => Chia cả hai vế của (5.6) cho X2i: (5.7) hay: (5.8) với:  Phương sai sai số ngẫu nhiên của mô hình mới: 28 1 2 2 .. k kY X X u       2 2 2 2i iX  31 2 3 2 2 2 2 2 ..i i ki ik i i i i i Y X X u X X X X X         * * * * 2 2 2 2 2 1 , , ,i ki ii i ki i i i i i Y X u Y X X u X X X X     constX X uVar XX u VaruVar i i i ii i i  222 2 2 22 * 2 2 .. 1 )(.) 1 ()()(  *** 33 * 221 * ... ikikiii uXXXY   9/20/2013 15 II. PHƢƠNG SAI SAI SỐ THAY ĐỔI b) Ước lượng sai số chuẩn  Tư tưởng: vẫn sử dụng các hệ số ước lượng từ phương pháp OLS, tuy nhiên phương sai các hệ số ước lượng thì được tính toán lại mà không sử dụng đến giả thiết phương sai sai số không đổi.  Ví dụ: với mô hình hồi quy hai biến, ta có: (5.9) => Thay công thức (5.9) bởi công thức sau: (5.10) => Sai số chuẩn vững bằng căn bậc hai của (5.10). Khi n đủ lớn thì (5.10) tiệm cận về giá trị đúng (5.9) 29 2 2 2 1 2 2 2 2 1 ˆar( ) n i i i n i i x v x              2 2 2 1 2 2 2 2 1 ˆar( ) n i i i n i i x e v x             III. SAI SỐ NGẪU NHIÊN KHÔNG TUÂN THEO QUY LUẬT CHUẨN (*) 1. Hậu quả khi sai số ngẫu nhiên không tuân theo quy luật chuẩn  Các ước lượng OLS vẫn là các ước lượng BLUE  Các thống kê T và F không tuân theo quy luật Student và quy luật Fisher tương ứng. Khi đó:  Nếu kích thước mẫu nhỏ thì các suy diễn thống kê không đáng tin cậy.  Với mẫu kích thước lớn thì các suy diễn thống kê vẫn có giá trị. 30 9/20/2013 16 III. SAI SỐ NGẪU NHIÊN KHÔNG TUÂN THEO QUY LUẬT CHUẨN (*) 2. Phát hiện sai số ngẫu nhiên không tuân theo quy luật chuẩn (1) Xem xét đồ thị phần dư (2) Kiểm định Jacque – Bera (JB) 31 III. SAI SỐ NGẪU NHIÊN KHÔNG TUÂN THEO QUY LUẬT CHUẨN (*) Kiểm định Jacque – Bera (JB): Kiểm định: H0: u tuân theo phân phối chuẩn H1: u không tuân theo phân phối chuẩn  B1: Ước lượng mô hình gốc => ei  B2: Tính thống kê kiểm định: 𝐽𝐵 = 𝑛( 𝑆2 6 + 𝐾−3 2 24 ) Với S là hệ số bất đối xứng (Skewness); K là hệ số nhọn (Kurtosis) của chuỗi phần dư:  B3: Nếu JB > χ2α(2) thì bác bỏ H0; chấp nhận H1 Ngược lại, chưa đủ cơ sở bác bỏ H0 32 3 2 3/2 / ( / ) i i i i e n S e n    4 2 2 / ( / ) i i i i e n K e n    9/20/2013 17 1. Khái niệm đa cộng tuyến trong mô hình hồi quy  Khi giữa các biến độc lập không có quan hệ đa cộng tuyến hoàn hảo nhưng có mối liên hệ tuyến tính khá chặt, ta nói rằng mô hình có hiện tượng đa cộng tuyến (multicollinearity).  Hiện tượng đa cộng tuyến trong mô hình hồi quy thể hiện mối quan hệ tuyến tính giữa các biến độc lập trong mô hình hồi quy chứ không quan tâm đến biến phụ thuộc trong mô hình. 33 IV. VẤN ĐỀ ĐA CỘNG TUYẾN  Xét mô hình hồi quy bội: (5.11)  Hồi quy biến độc lập Xj theo các biến độc lập còn lại: (*)  Nếu : Có ĐCT hoàn hảo giữa các biến X2 ; X3 ; ; Xk  Nếu : Có ĐCT cao (ĐCT không hoàn hảo) giữa các biến X2 ; X3 ; ; Xk uXXXY kk   ...33221 vXXXXX kkjjjjj    ...... 1111221 12* R 12* R 34 IV. VẤN ĐỀ ĐA CỘNG TUYẾN 9/20/2013 18 IV. VẤN ĐỀ ĐA CỘNG TUYẾN 2. Nguyên nhân của đa cộng tuyến  Do bản chất mối quan hệ giữa các biến số  Do mô hình có dạng đa thức  Do mẫu không mang tính đại diện 35 3. Hậu quả của đa cộng tuyến  ĐCT hoàn hảo: không ước lượng được mô hình  ĐCT cao (ĐCT không hoàn hảo): không vi phạm giả thiết nào của định lý Gauss – Markov nên không ảnh hưởng gì đến tính “tốt nhất” của các ước lượng OLS. => Nhƣ vậy mô hình có ĐCT cao thì các ƣớc lƣợng thu đƣợc vẫn là các ƣớc lƣợng tuyến tính, không chệch và tốt nhất (có phƣơng sai nhỏ nhất). 36 IV. VẤN ĐỀ ĐA CỘNG TUYẾN 9/20/2013 19 Hậu quả của ĐCT cao trong mô hình hồi quy:  Khoảng tin cậy của βj rộng, nghĩa là ước lượng trở nên kém chính xác.  Hệ số ước lượng dễ mất ý nghĩa thống kê.  Dấu của hệ số ước lượng của Xj có thể ngược so với kỳ vọng.  Một sự thay đổi dù bé trong mẫu cũng có thể gây ra một sự thay đổi khá lớn trong kết quả ước lượng (do lớn) )ˆ( jVar  37 IV. VẤN ĐỀ ĐA CỘNG TUYẾN IV. VẤN ĐỀ ĐA CỘNG TUYẾN 4. Phát hiện đa cộng tuyến (1) Xem xét hệ số xác định của các mô hình hồi quy phụ .  (j = 2,3,.., k) là hệ số xác định của mô hình hồi quy phụ Xj theo các biến độc lập còn lại.  Nếu lớn thì có thể mô hình gốc có hiện tượng đa cộng tuyến cao. 38 2 jR 2 jR 2 jR 9/20/2013 20 (2) Xem xét hệ số phóng đại phƣơng sai (VIF- variance inflation factor):  Quy tắc chung: nếu VIF > = 10 thì đó là dấu hiệu có ĐCT cao 21 1 jR VIF   39 IV. VẤN ĐỀ ĐA CỘNG TUYẾN (3) Tính hệ số tƣơng quan cặp giữa các biến độc lập Xj Nếu hệ số tương quan cặp giữa hai biến độc lập nào đó lớn (có trị tuyệt đối lớn hơn 0.8) thì có thể xem như mô hình có ĐCT cao. Tuy nhiên, hệ số tương quan cặp giữa các biến độc lập không cao không có nghĩa là không có ĐCT. 40 IV. VẤN ĐỀ ĐA CỘNG TUYẾN 9/20/2013 21 5. Một số biện pháp khắc phục  Gia tăng kích thước mẫu (tăng n)  Sử dụng thông tin tiên nghiệm  Sử dụng kỹ thuật phân tích nhân tố để tách lọc thông tin từ các biến độc lập.  Bỏ bớt biến Lưu ý: Trong mô hình hồi quy luôn luôn xảy ra ĐCT, điều đáng quan tâm là ĐCT ở mức cao hay thấp. Nếu hậu quả của ĐCT đối với mô hình hồi quy là không quá nghiêm trọng thì ta chưa cần quan tâm tới vấn đề khắc phục. 41 IV. VẤN ĐỀ ĐA CỘNG TUYẾN V. MÔ HÌNH CHỨA BIẾN KHÔNG THÍCH HỢP 1. Hậu quả của việc chứa biến không thích hợp Các ước lượng OLS vẫn là các ước lượng không chệch Phương sai các hệ số ước lượng sẽ lớn. Do đó:  Khoảng tin cậy cho các hệ số hồi quy sẽ trở nên rộng hơn  Các tỷ số t trở nên bé hơn và dẫn đến làm mất ý nghĩa thống kê của các hệ số ước lượng. 42 9/20/2013 22 V. MÔ HÌNH CHỨA BIẾN KHÔNG THÍCH HỢP 2. Phát hiện biến không thích hợp Để phát hiện một biến là có thích hợp hay không: sử dụng kiểm định t để kiểm định về sự bằng 0 của hệ số của biến này. Để phát hiện hai hay nhiều biến là có thích hợp hay không: sử dụng kiểm định F – kiểm định nhiều ràng buộc 43